SuperAPI AI 工具集

skill-evals-optimize

测试与质量

查看项目

更新于 10-15 20:11

技能介绍

用途:该技能用于处理 OpenCode 技能加载评测(skill-loading eval)中的失败用例,通过分诊、有限修复和定向重测来优化评测结果。

主要能力:定位最新评测结果并列出失败用例;逐个读取失败用例条目,参考指导文档选择修复策略;提出最小范围的针对性改动(技能描述、提示词、权限或测试);仅重跑失败用例;强制迭代上限为 2 次。

使用方式:结果根目录为 evals/skill-loading/.tmp/opencode-eval-results,最大优化迭代次数为 2,指导文档为 evals/skill-loading/docs/skill-optimization-steering.md。列出失败用例运行 bash scripts/list-fails.sh;重测失败用例运行 bash scripts/retest-fails.sh --parallel 3,可用 --filter-id 限定范围(如 --filter-id "gh_|c7_"),用 --dry-run 仅打印命令不执行。

规则与限制:不得为强行通过而扩大权限或削弱测试;优先采用最小、可回滚的改动;两轮修复加重测后仍失败的用例应标记为合理失败并停止优化。输出需汇总 PASS/FAIL 数量,列出失败用例 ID 及被接受为合理失败的用例,并参考指导文档说明后续跟进事项。