用途:优化 OpenRouter 请求的延迟与吞吐,适合构建实时应用、降低首字延迟(TTFT)或扩大请求量。资料指出 OpenRouter 自身开销约 50-100ms,主要延迟来自上游模型。
主要能力:提供延迟基准测试(benchmark_model 输出 p50/p95/avg/min/max)、流式输出以降低 TTFT(stream_completion 返回 ttft_ms 与 total_ms)、并发请求处理(parallel_completions 配合 asyncio.Semaphore 控制并发)、连接复用优化,以及性能优化清单与模型速度分层参考。
使用方式:需 OpenRouter API key(sk-or-v1-...)并导出为 OPENROUTER_API_KEY,Python 3.8+ 与 openai 包。基准测试用 OpenAI 客户端指向 https://openrouter.ai/api/v1;并发用 AsyncOpenAI。建议先跑基准,再对流式路径验证 TTFT 下降,批量任务改用并发并限制 max_concurrent=5-10,最后复用单一客户端(timeout=30.0、max_retries=2)。
适用场景:实时对话、批量文档处理、需要控制尾延迟的服务。
限制:付费模型需账户有额度,验证基准可用 :free 模型;:nitro 变体与 provider 路由并非所有模型都可用;具体价格、平台与效果数据暂未提供。