SuperAPI AI 工具集

cost-quality-tradeoff

测试与质量

查看项目

更新于 10-15 23:49

技能介绍

用途:帮助在选用默认模型、削减 LLM 开销、评估是否升级到更贵模型,以及在提示词复杂度、模型规模与思考预算之间取舍时,做出有成本依据的决策。核心思路是把每个候选配置(模型×提示词×设置)按质量与单次请求成本画在图上,位于帕累托前沿的配置是没有任何其他配置同时更便宜且更好的那些,被支配的配置应直接淘汰。

主要能力:测量输入/输出 token、单次请求成本、质量分与 p95 延迟;成本计算需包含缓存写入与缓存读取费用,示例公式为 costPerRequest = (usage.input_tokens / 1e6) * inputRate + (usage.output_tokens / 1e6) * outputRate + (usage.cache_creation_input_tokens / 1e6) * cacheWriteRate + (usage.cache_read_input_tokens / 1e6) * cacheReadRate。建议至少比较 Haiku 简洁提示、Haiku 长提示/少样本、Sonnet 简洁提示、Sonnet 少样本加结构化输出、Sonnet 扩展思考、Opus 简洁提示、Opus 扩展思考等配置。

使用方式:先尝试提示词杠杆(2-5 个少样本示例、JSON 结构化输出、思维链、更好的系统提示范围),再考虑换更大模型;用盈亏平衡判断升级是否值得,条件为 Δquality × V > Δcost;可按难度分层路由,例如 const model = difficulty === "simple" ? "claude-haiku-4-5" : difficulty === "medium" ? "claude-sonnet-4-6" : "claude-opus-4-6"; 并测量分层是否真的改善成本质量位置。评估先用 50 条筛选、200 条确认,再以 5% 流量金丝雀验证后全量。

适用场景:新功能选默认模型、现有功能降本、升级论证、缓存占比高的负载、对延迟有硬约束的聊天或语音场景。

限制:资料未提供具体价格、模型版本可用性或平台支持范围;延迟作为第三轴时三维前沿更小,需按约束轴选择;忽略缓存成本、默认选最大模型、未测量就分层路由等属于反模式。