用途:在构建使用多个 LLM 提供方的应用时,为每个任务动态选择最优模型,以平衡质量、成本与延迟。适用场景包括多提供方应用、成本优化、不同任务需要不同模型能力、实现回退策略以及模型性能 A/B 测试。
主要能力:提供模型对比矩阵(能力与成本、典型首字节延迟);四种路由策略——基于复杂度(simple/medium/complex 映射到不同模型)、成本约束(在预算与最低质量分内选质量最高者)、延迟优化(按最大延迟与最低质量筛选)、任务类型路由(code、creative、analysis、extraction、chat、classification 各有候选模型列表,并按 low/medium/high 预算取用);回退链(主模型加多个备选,含最大重试次数与退避毫秒);带学习的动态路由(用指数移动平均记录成功率、平均延迟与质量分,按权重选最佳);模型 A/B 测试(按 userId 哈希确定性分流并记录指标)。
使用方式:资料以 TypeScript 接口与函数示例说明实现思路,如 assessComplexity、selectModel、selectWithinBudget、selectForLatency、selectForTaskType、executeWithFallback 以及 AdaptiveRouter、ModelABTester 类。示例中出现的模型名与价格仅作为资料中的示例数据,实际使用需以各提供方最新信息为准。
限制与注意:资料未提供安装命令、依赖包或可直接运行的完整项目;示例代码为示意,需自行接入各提供方 SDK 与 callModel 实现。最佳实践建议从简单路由起步、监控质量、始终配置回退、对路由逻辑做单元测试、记录选择原因并定期复核,因为模型能力与定价会变化。