SuperAPI AI 工具集

benchmark-assistant

测试与质量

查看项目

更新于 10-15 22:14

技能介绍

用途:benchmark-assistant 是 Thinking Skills 的元技能,帮助用户实际使用基准测试运行器。它不替代 scripts/run-benchmark.js,也不自行定义领域质量,而是选择有用的基准命令、运行或准备命令、解释结果,并在需要时把失败诊断交给 skill-evaluator。

适用场景:用户说“跑一下 benchmark”“测试 content-creator”“检查 learning-coach 回归”“生成基准提示词”“给这些基准响应评分”“更新基准仪表盘”“比较最新基准运行”“把这个失败加入基准”“基准里什么失败了”“我改了某个 skill,帮我测一下”等。

不适用:用户已有具体失败响应并想要失败诊断时,直接用 skill-evaluator;用户想要完成实质任务而非基准测试时,用相关领域技能;现有运行器足够时不要新建基准框架。

必要上下文:按需读取 docs/benchmark.md、docs/benchmark-dashboard.md、scripts/run-benchmark.js、scripts/update-benchmark-dashboard.js、benchmark-runs/、相关 benchmarks/<skill>/ 用例、相关 evals/<skill>-cases.md,以及 skills/skill-evaluator/SKILL.md。

核心流程:确定目标(全部基准、单个技能目录或具体失败/新用例);选择最轻量有用的命令;在不需要外部凭据或未知代理设置时运行命令;若未配置外部代理命令,则生成提示词或请求已保存响应,不要假装已运行基准;除非用户明确要求仅覆盖记录,否则不要把 not_run 报告写入 benchmark-runs/ 或据此更新仪表盘;如需趋势比较,从 benchmark-runs/ 更新 docs/benchmark-dashboard.md;用平实语言总结结果;出现失败时分类可能来源(路由器、领域技能、评估或基准措辞、缺少响应数据、外部代理设置);推荐最小下一步。

常用命令:列出全部用例 node scripts/run-benchmark.js --list;列出单个技能用例 node scripts/run-benchmark.js --cases benchmarks/content-creator --list;生成提示词 node scripts/run-benchmark.js --prompts;为单个技能生成提示词 node scripts/run-benchmark.js --cases benchmarks/content-creator --prompts;评分已保存响应 node scripts/run-benchmark.js --responses benchmark-responses.json --out benchmark-runs/my-run.json;运行外部代理命令 node scripts/run-benchmark.js --command "your-agent-command";更新仪表盘 node scripts/update-benchmark-dashboard.js。

输出格式:正常基准运行输出 Benchmark Result(命令、摘要、关键失败、下一步);提示词生成输出 Benchmark Prompts(命令、用例、如何使用);失败输出 Failure Triage(失败用例、可能来源、现有覆盖、最小有用补丁、是否应成为失败用例);仪表盘更新输出 Benchmark Dashboard(命令、更新文件、最新分数、最大变化、下一步)。

安全与范围:仅生成提示词时不要声称运行了实时基准;运行返回 not_run 时不要声称技能通过;不要把 not_run 当作质量回归;不要自动提交基准结果或补丁;不要把私有原始对话放入基准用例,应先抽象;保持用例小而真实;除非用户明确要求提交,否则保留 articles/ 和 docs/superpowers/ 等本地草稿。

常见错误:把 --prompts 输出当作完成的基准;用户只改了一个技能却运行全部基准;基准用例措辞才是真正问题时却修补技能;添加新用例却没有 expected、must_not 和质量边界;让基准工作比实际技能改动更重。