SuperAPI AI 工具集

meter-benchmark

测试与质量

查看项目

更新于 10-23 23:07

技能介绍

meter-benchmark 是一个用于 CocoFlow 流程模板基准测量的技能,属于 snowflake-labs/cocoplus 项目。其核心目标是在优化流程模板、wisdom 规则或技能之前,先建立一个可测量的 p-hat 基线。

用途:为指定流程模板建立测量基线,避免在没有实测数据的情况下推荐优化。

主要能力:通过 $meter benchmark --flow <template> 命令运行或读取请求模板的基准历史,并报告以下内容:运行次数、各阶段成功概率(p-hat)、置信区间、平均 token 成本、平均耗时、观察到的失败类别。结果写入 .cocoplus/meter/template-benchmarks.jsonl。

使用方式:执行 $meter benchmark --flow <template> 命令,针对目标模板进行基准运行或读取历史记录。

退出标准:没有实测基线就不推荐任何优化;阶段级 p-hat 需与整体流程成功率分开报告;基准结果必须包含成本与置信度,而不仅是通过/失败计数。

限制与注意事项:资料强调了反合理化原则——不能仅因文件存在就认为技能完成,技能契约需描述可观察行为与验证方式,而非只有命令名;即使命令很小,也不能跳过产物与安全检查,因为小命令同样会改变状态或引导执行。关于支持的模板类型、具体参数选项、数据保留策略等细节暂未提供。