SuperAPI AI 工具集

llm-council-cost

智能体与模型

查看项目

更新于 10-16 09:49

技能介绍

用途:针对已在运行的多模型流水线,降低 token 花费与延迟,同时不牺牲原有质量。核心手段不是全局换便宜模型,而是加前置廉价网关,让昂贵路径只处理困难长尾。也可用于用户没提“议会”但抱怨多模型编排成本的情况。

主要能力:提供“先路由、后议会”的路由梯子(语义路由、学习型路由、MoA 预筛选);强调用校准而非原始自报置信度触发升级,多成员场景优先用成员间分歧作升级信号;给出成本倍率参考(自一致性约 Nx token、MoA 约 3-6x、辩论约 4-8x、完整议会约 4.2x token 等,均为量级参考,需自行实测);缓存与批处理建议,如共享静态前缀优先以便命中缓存、批处理 API 仅适合离线/评测场景;会话内不重复路由,只在会话或任务边界重路由;延迟按 P95/P99 预算,用 TTFT 触发对冲并限制对冲预算;以及若干廉价优化项,如统计停止规则限制辩论轮数、按任务裁剪专家席位、自一致性采样超过约 5 个后收益递减等。

使用方式:先梳理现有流水线形态(模型数量、拓扑、对应倍率),再加按流量规模设计的前置网关(已知意图用语义路由、开放意图用学习型路由、MoA 形态用预筛选),在自有流量上校准升级阈值,重构提示以共享缓存前缀,移除工具循环中的会话内重路由,按 P95/P99 规划延迟,应用适用的廉价优化项,最后以“每解决一个结果”的成本重新测量。

适用场景:已运行的多模型议会、集成、辩论或多次调用模型且成本/延迟超预算的流水线。

限制:不适合决定是否采用议会(见 llm-council-when)、如何聚合成员输出(见 llm-council-aggregation),也不适用于单模型通用降本或云基础设施、数据库成本。学习型路由会随分布外流量退化,模型池变化时需重训。相关数值均为量级参考并受版本限制,需在自身负载上重新验证。路由、校准、缓存和延迟细节见 references/routing-and-caching.md。