用途:通过 OpenRouter 单一 API 访问 100+ 模型,将每个请求路由到合适模型,以平衡成本、质量与延迟。
主要能力:任务型路由(MODELS 分层 free/budget/mid/standard/premium 与 TASK_ROUTING 映射,route_request() 返回内容、服务模型、层级与 token 数);复杂度自动路由(classify_complexity() 依据词数、代码、推理、数学标记打分,auto_route() 选层);OpenRouter 原生路由(extra_body 中 models 列表配 route: fallback 依次尝试,provider.order 控制服务商,:floor 变体自动选最便宜服务商);成本感知路由(get_model_pricing() 从 GET /api/v1/models 拉取实时每百万 token 价格,cheapest_model_for_task() 在上下文与工具约束下选最便宜模型)。
使用方式:需 OPENROUTER_API_KEY 环境变量、Python 3.8+ 及 openai、requests(pip install openai requests),并准备任务清单以初始化 TASK_ROUTING。示例中 premium 层 openai/o1 为 $15/$60 每 1M token,是 budget 层的 250 倍。
限制与注意:分类启发式较粗,生产环境建议替换为训练分类器;需记录每次路由决策(任务类型、层级、模型、成本)并设置 max_tokens 与每日预算上限;预算模型可能质量回退,需监控并升级层级;免费模型不可靠,成本选择中已排除。具体平台与效果以实际为准。