SuperAPI AI 工具集

llm-router

智能体与模型

查看项目

更新于 10-15 20:30

技能介绍

用途:为每个任务选择最优 LLM 模型,是多智能体系统中最大的成本杠杆,据资料称智能路由可节省 45-85% 成本并保持 95%+ 的顶级模型质量。适用于决定某任务调用哪个模型、为智能体工作流的 DAG 节点分配模型、优化系统 LLM API 成本、构建“先试便宜模型”的级联模式;不适用于提示工程、模型微调训练或模型架构学术比较。

主要能力:按任务类型分层。Tier 1(Haiku、GPT-4o-mini,约 $0.001/次)用于分类、校验、格式化、结构化抽取;Tier 2(Sonnet、GPT-4o,约 $0.01/次)用于写作、实现代码、代码审查、研究综合;Tier 3(Opus、o1,约 $0.10/次)用于分解模糊问题、架构设计、质量评判、多步策略规划。

三种路由策略:静态分层(设计 DAG 时按任务类型指定模型,无运行时逻辑,可获 60-70% 节省);级联(先跑 Tier 1,做快速质量检查,达标即止,否则升级到 Tier 2,增加约 1 秒延迟,节省 50-80%);自适应(记录每种任务类型在每个模型上的成功/失败,约 100 次执行训练数据后可达 75-85% 节省)。

提供商选择:Haiku 类可选 Anthropic、AWS Bedrock;Sonnet 类可选 Anthropic、AWS Bedrock、GCP Vertex;Opus 类仅 Anthropic;GPT-4o 类可选 OpenAI、Azure OpenAI;开源模型可选 Ollama(本地)、Together.ai、Fireworks。

限制与反模式:不要一律用最强模型或一律用最便宜模型;不要只优化成本而忽略延迟(Opus 比 Haiku 慢 5-10 倍);不要设置一次分层后永不调整,应记录结果并随模型进步而适配。资料未提供安装命令、具体 API 调用代码或定价的完整细节。