SuperAPI AI 工具集

bmad-eval-runner

测试与质量

查看项目

更新于 10-15 17:27

技能介绍

用途:运行某个技能的评测(evals)并汇报结果,帮助用户判断技能是否优于裸模型、某章节是否必要、输出是否满足评分标准,以及描述是否在正确查询上触发。

主要能力与四种模式:baseline 判断技能是否在同输入下胜过裸模型;variant 用精简版技能对比,判断某章节是否真正起作用;quality 依据命名评分标准评估某配置的输出;trigger 通过适配器测量真实触发情况,并可跨轮次优化描述。

使用方式:位置参数为被评测技能路径(含 SKILL.md 的目录)。可选参数包括 --evals、--mode baseline|variant|quality|trigger(可重复)、--variant-path、--project-root、--output-dir、--runs、--headless/-H。baseline、variant、quality 模式调用 uv run {skill-root}/scripts/run_evals.py,trigger 模式调用 uv run {skill-root}/scripts/run_triggers.py。质量模式会为每个用例启动评分器,写入 grading.json;--runs 大于 1 时可用 aggregate_benchmark.py 生成均值、标准差与配置差异。

激活时会解析配置、检查断点性运行记忆、定位技能、解析适配器、发现用例文件并确认运行摘要。

限制:技能不会凭空创造用例,找不到用例文件即停止;运行在干净工作目录中隔离执行,无容器、无终端模拟、无凭据暂存;运行产物永久保留,不删除或覆盖;评分器不给部分分,错误时标记 grading_error 而非默认判定。具体平台适配、超时与 worker 等细节以脚本文档为准。

输出:每次运行生成带日期的运行文件夹,包含提示、转录、cwd、timing.json 及 grading.json 等。实际评测效果、收费与平台支持等细节暂未提供。