SuperAPI AI 工具集

bmad-eval

智能体与模型

查看项目

更新于 10-15 17:27

技能介绍

用途:运行某个 BMad 技能的评测并报告结果,引用具体发现,标记仅因平凡原因通过的评测,不通过放宽容差来伪造成功。技能不指定模型或 harness;评测所用 harness 记录在该技能首次运行时的 customization 中。

四种模式:baseline 回答“技能在同一输入上是否胜过裸模型”;variant 回答“某段落是否值得保留,还是精简版同样好”;quality 回答“输出是否满足指定评分标准”;trigger 回答“描述是否在正确查询上触发、在其余查询上保持沉默”。相关脚本与参考见 scripts/run_evals.py、scripts/run_triggers.py、references/eval-format.md、references/grader.md、references/harness.md、references/description-optimization.md、references/self-improvement.md。

用例格式:一个用例为 input + rubric + 可选 state_prefix + 可选 fixture 文件;state_prefix 是置于输入前的方括号 priming。用例放在 <skill>/evals/cases.json,触发查询为 <skill>/evals/triggers.json 中的 {query, should_trigger}。skill-creator 的 evals.json 可用 uv run {skill-root}/scripts/convert_cases.py <evals.json> --output <cases.json> 转换(--to skill-creator 反向)。

激活时:读取配置与 customization,缺键可接受;验证 <skill-path>/SKILL.md 存在,否则明确报错停止。当 workflow.harness.command 为空时,按 references/harness.md 推断当前 CLI 的 harness 事实,在一个用例上验证,并调用 bmad-customize 记录(安装:npx skills add bmad-code-org/BMAD-METHOD --skill bmad-customize)。查找用例文件顺序:用户指定、<skill-path>/evals/、<project-root>/evals/<skill-name>/、<project-root>/evals/ 下任意位置;找不到即停止,不自行编造用例。确认运行摘要后执行(除非用户要求非交互运行);摘要列出技能、用例、模式、输出目录、harness 命令,并说明运行时关闭权限提示、除非命令自带沙箱否则不隔离。

执行:项目根为持有 _bmad/ 或 .git/ 的技能首个祖先;输出目录为 {reports_folder}(BMad 已配置时)否则 ~/bmad-evals/,每次运行是其中带时间戳的独立文件夹。每个用例在项目外的临时干净房间中运行。命令:uv run {skill-root}/scripts/run_evals.py --cases <cases-file> --skill-path <skill> --output-dir <dir> --mode quality|baseline|variant [--variant-path <skill>] --label <skill-name>-<mode> [--runs N];trigger 用 uv run {skill-root}/scripts/run_triggers.py --skill-path <skill> --queries <queries-file> --output-dir <dir> [--runs-per-query N];聚合用 uv run {skill-root}/scripts/aggregate_benchmark.py --baseline <run-dir>/<config-a> --variant <run-dir>/<config-b>。--runs 默认 1 为快速查看,达到 3 次及以上才算稳定结果。退出码:0 完整运行,1 用例报错/超时或命令未找到,3 未记录 harness;触发查询未达阈值属结果而非错误。质量模式按 references/grader.md 逐用例启动评分器;评分器出错标记 grading_error,不给默认判定。

产物:每次运行是输出目录下的日期文件夹,run.json 记录 harness 命令;每个用例文件夹与每次触发尝试保存 prompt、transcript、stderr.txt、cwd/、timing.json,质量运行时还有 grading.json。绝不删除、覆盖或轮转运行文件夹,完成后告知用户位置。

限制:结果反映干净工作目录中的技能而非宿主 shell;失败须引用具体期望与证据,肤浅通过会被标记;少于 3 次运行的结果只能作为快速查看报告;技能不再赢得基线时应考虑退役而非打补丁。

资料未提供收费、价格、平台支持范围与具体模型名称等信息。