SuperAPI AI 工具集

cost-counterfactual

通用与其它

查看项目

更新于 10-15 22:11

技能介绍

用途:cost-counterfactual 属于成本可观测性工具,回答“路由是否赚回了成本”。它与 cost-budget-check(是否越过阈值,反应式)、cost-projection(何时越过阈值,预测式)并列,自身是比较式分析。

主要能力:读取 cost-tracking 命名空间中的全部 session-* 记录,按 --since 窗口过滤(默认全时段),汇总每个会话 byModel[*] 的 token 数;对每个请求的基线(默认三种全跑)按公式计算假设花费:counterfactualUsd = (input × tier.input + output × tier.output + cache_write × tier.cache_write + cache_read × tier.cache_read) / 1M;再算 savings = counterfactualUsd − actualUsd,输出各基线总计与节省百分比。

使用方式:运行 cost counterfactual,可用 --since 限定时间窗口,用 --format json 输出结构化结果。示例 CI 门禁:cost counterfactual --format json | jq '.baselines[1].savingsPct > 30',用于在路由相对 sonnet 基线节省不足 30% 时让构建失败。

结果解读:负的 always-haiku 节省表示路由在 haiku 本可胜任的任务上选了更贵的模型,属于过度升级信号,可检查 qualityBar 是否过高,或运行 cost optimize、用 cost conversation 查看具体会话。正的节省量化路由相对该基线的收益,通常 always-sonnet 最有参考价值,因为它是多数团队没有路由时的“安全默认”。

适用场景:季度成本复盘、CI 门禁、引入新 qualityBar 或成本上限后验证节省是否回退。

限制:与所有反事实分析一样,它假设相同 token 与相同复杂度在基线模型下会得到相同结果,这是上界;基线模型可能失败并需要重试,公式未计入,因此数字应视为不考虑质量的上限。