SuperAPI AI 工具集

meter-compare

数据与分析

查看项目

更新于 10-23 23:07

技能介绍

用途

meter-compare 用于对比两份 CocoMeter 或 harness 基准测试结果文件,判断改动前后是改进还是回退。调用方式为 $meter compare <before.json> <after.json>。它的核心原则是“正确性优先”:准确率变化是主要信号,token 或成本变化是次要信号,除非配置为成本优先且已被确认。

主要能力

  • 读取两份结果文件,接受 accuracy、score、task_accuracy、cost、tokens、credits 等字段。
  • 读取 cocoplus.toml 的 [meter] 配置:optimization_objective(默认 correctness-first)、accuracy_equivalence_band(默认 0.02)、cost_first_acknowledged(默认 false)、track_acrr(默认 true)。
  • 先计算准确率差值,再计算成本差值。
  • 若目标设为成本优先但未确认,则按正确性优先处理并给出警告。
  • 当两份文件都含 ACRR 时,在准确率之后、成本明细之前报告 ACRR 趋势;ACRR 视为校准诊断而非准确率分数,接近 1.0 表示初始复杂度层级足够,持续偏高表示任务类别在派发前被低估。
  • 当存在 reconciliation 或模型漂移元数据时,在 ACRR 之后、成本行之前报告;当 reconciliation_status 为 gap_corrected 时,以对话记录推导的总量作为计费比较的权威数据。
  • 在结果中区分 execution_cost(功能阶段工作)、coordination_cost(顾问调用、交接上下文组装、产物传输、状态同步)、landing_cost(最终评估、控制台更新与交接的预留窗口开销)。

使用方式

执行 $meter compare <before.json> <after.json>,提供前后两份结果文件路径,并确保 cocoplus.toml 中 [meter] 配置可读。输入文件缺失或格式错误时会以清晰诊断信息失败。输出顺序固定:先准确率,再 ACRR,再核对/漂移信息,再成本,最后结论。例如准确率提升 3.2%、成本上升 12% 时,可判定为正确性优先目标下的改进;若成本下降 18% 但准确率下降 1.5%,则判定为回退,并警告降本伴随准确率回退。

适用场景

适用于对 CocoMeter 或 harness 基准结果做前后对比、评估改动是否真正提升正确性、检查 ACRR 校准趋势、核对计费数据与模型漂移情况,以及需要按统一输出顺序生成对比结论的工作流。

限制

资料未提供该技能的具体平台支持范围、安装方式、收费情况与性能指标。它只做结果比较与诊断,不负责执行基准测试。ACRR 不能替代准确率评分。成本降低在准确率回退时不得标注为改进。