SuperAPI AI 工具集

route-cheap-escalate-hard

智能体与模型

查看项目

更新于 10-16 01:34

技能介绍

用途:把工作负载拆成「廉价默认模型」与「受门控的升级模型」两档,降低 LLM 花费,并把拆分写成可验证的配置。适用场景:用户抱怨 AI 账单过高,或大部分请求并非高难度任务。

主要能力:定义升级门槛(任务类型、难度信号或首次失败重试);默认经 OpenAI 兼容网关,便于日后一行替换;写出 routing.json(base_url、default_model、escalate_model、escalate_when)作为决策契约,可翻译为 LiteLLM 路由器、OpenRouter 预设或自有客户端;附带校验脚本,若默认不是廉价模型、未设升级模型或缺失门控则失败。

用法:先确认对当前负载而言「困难」指什么,说不清时以「重试即升级」为默认门控;再选模型对,文中示例以 z-ai/glm-5.2 为默认、anthropic/claude-opus-4.8 为升级;随后生成 routing.json 并运行校验。

限制:排行榜成绩不等于用户任务的表现,需以自己的提示词做对比测试;每 token 更便宜不等于每任务更便宜,廉价模型可能需要额外推理循环或重试;需关注数据驻留地,开放权重不代表提示词落地位置;网关最便宜的路径常是量化变体,质量敏感时应固定提供方。文中价格与时点数据请以当前为准。