SuperAPI AI 工具集

cost-trend

测试与质量

查看项目

更新于 10-15 15:09

技能介绍

用途

Cost Trend 的核心目标是把随时间累积的基准运行记录当作一条曲线来看,而不是只看单次结果。冒烟门禁是二元的(winRate ≥ 0.80 → 通过/失败),但曲线能捕捉门禁漏掉的回归:胜率从 100% 慢慢降到 85% 在冒烟测试里“仍然通过”,却是真实的性能退化。该技能读取 docs/benchmarks/runs/*.json 中每一条持久化的运行记录,报告首次到末次的增量以及逐次运行的序列,并对胜率或延迟的回归发出标记。

何时使用

  • 发布之前——检查加速效果是否出现漂移。
  • 扩展语料之后——验证较早的运行在它们当时所对应的新语料上是否仍能达到相同胜率。
  • 升级 agent-booster 之后——暴露延迟或策略层面的变化。

使用方式

从项目根目录运行趋势脚本:

node plugins/ruflo-cost-tracker/scripts/trend.mjs

可选环境变量:

  • TREND_FORMAT=json — 输出 JSON 而不是 markdown
  • TREND_LIMIT=10 — 只考虑最近 N 次运行

运行后需要检查以下内容:

  1. 漂移摘要——首次与末次在胜率、平均延迟、p99、升级率、相对 Gemini 的加速比上的对比。
  2. 逐次运行序列——每次运行一行,若运行时启用了 BENCH_ANTHROPIC=1,则包含 Sonnet 4.6 + Opus 4.7 基线延迟。
  3. 回归标记——脚本在以下情况会输出 > ⚠ Regression 提示:胜率在首次与末次运行之间下降;平均延迟相对首次运行上升 ≥ 1.5×。

相关引用

  • cost-benchmark — 是本技能所消费的运行 JSON 的生产者。
  • bench/booster-corpus.json — 每次运行都会记录语料版本,因此跨语料版本的趋势仍然可解释。
  • docs/benchmarks/runs/latest.json — 最近一次运行;smoke 步骤 23 依据此文件中的 winRate ≥ 0.80 进行门禁判断。