SuperAPI AI 工具集

model-routing

测试与质量

查看项目

更新于 10-15 19:50

技能介绍

用途:解决单一模型层级部署带来的问题——要么为简单请求多付钱,要么在困难任务上表现不足。核心思路是把模型能力匹配到该次调用所做的具体决策,只在更便宜的模型被证明失败时才升级。

适用场景:为新智能体选模型;全部使用最贵层级导致账单上涨;使用最便宜层级但质量临界;构建或评估路由器、级联、先草稿后验证流水线;涉及模型回退或混合推理。

决策流程:单次、易验证、有界的任务用最便宜层级;智能体任务(多步工具使用、规划)中规划器用最强模型、执行器可用较小模型;延迟敏感场景选能过质量线的最快便宜模型,质量不稳则级联;安全关键(真实副作用、不可逆操作)用最强模型并加验证;方差敏感场景用最强模型加 temperature=0 与结构化输出,不要靠路由器解决方差;没有评估显示哪一层级通过时,先建评估再路由。

可用路由模式:便宜优先加升级(先跑便宜模型,用规则、正则、分类器或第二个模型验证,失败再升级);草稿到验证(便宜模型起草,强模型检查,只升级输出);能力门控(分类器按任务类型选模型);带置信度的级联(便宜模型返回置信分,低于阈值转强模型,阈值需用评估校准);混合层级智能体(规划器强、工具执行器小、摘要器小)。

应避免的反模式:到处用最贵或最便宜层级;按流行趋势选模型;路由前没有评估;业务代码硬编码模型名(应封装为 route(task) -> model 边界);没有置信信号的级联;各层级沿用相同 temperature 与 top-p;跨提供商路由却不统一工具使用语义。

成本杠杆:资料给出示意性数量级——前沿模型约为最便宜层级的 10 到 20 倍,中档约 3 到 6 倍,小模型为基线;在 90% 简单的工作负载上采用 30/70 的强/便宜混合,若经过测量,可降低约 5 倍支出且无明显质量损失。具体价格需查当前数据。

需要向用户确认:每次调用在做什么(抽取、分类、推理、工具使用、摘要);每次调用的验收标准;失败成本;是否有能区分层级质量的评估;延迟预算;路由器本身是否需便宜快速(应是分类器而非 LLM 调用)。

硬性要求:没有评估就不做路由决策,没有每次调用的成本目标就不选层级。

限制:资料未提供具体实现代码、安装命令、支持平台与收费信息;文中价格倍数为示意值,需以当前实际数据为准。