SuperAPI AI 工具集

improve-skill-quality

测试与质量

查看项目

更新于 10-16 00:05

技能介绍

用途:把失败或说服力不足的技能评估转化为针对性修复。该流程强调先分类再修复,因为常见错误是评估、fixture 或 harness 才是真正原因,却去重写技能正文。

适用时机:评估结论为回归、underpowered 或“no credible improvement”;技能在 isolated 臂获胜但 plugin 臂未获胜,或被报告“not activated”;/evaluate 报告“Evaluation ran but produced no results”;技能得分好但 token、轮次、墙钟时间或插件菜单预算成本过高;判断是否强化或淘汰长期偏弱的技能。不适用于从零创建技能(用 create-skill)、从零创建 eval.yaml(用 create-skill-test)或修改 harness 本身。

主要流程:先获取证据,读取 InvestigatingResults.md 下载产物并解析 results.json,提取每个失败 stimulus 的 stimulus-vote W/T/L、repeated-run W/T/L、isolated 与 plugin 臂的激活状态、judge 对失败 trial 的原话理由,以及是否有 trial 报错、超时或空输出。随后按症状表分类:fixture 问题、harness/spec-load、可靠性、统计功效、评估设计、技能内容、激活/路由、范围与成本。

关键规则:比较必须结论明确才可视为测量结果,adapt.mjs 要求零报错 trial、零未匹配轨迹且 summary 一致。功效门槛为 distinct stimuli ≥ 5,且符号检验在非并列投票上 p ≤ 0.05;5 个 stimulus 时一个 tie 即致命,6 个可容忍一个 tie,7 个可容忍两个,但任何 loss 都不行。提高运行次数只测可靠性,不能清除该门槛。

修复与验证:内容修复需引用失败 trial 与 judge 理由,按 references/writing-for-baseline-delta.md 的模式调整;激活失败应改 frontmatter description 与路由,而非正文。验证命令包括 dotnet run --project eng/skill-validator/src/SkillValidator.csproj -- check --plugin ./plugins/<plugin>、python eng/eval-quality/check_eval_quality.py、./eng/run-skill-evals.sh <plugin> <skill>,并在正常并发与声明超时下运行,提交含 /evaluate 的 PR review 触发官方运行。

限制:资料未提供该技能自身的收费、价格、平台或效果数据;具体命令与路径需按仓库实际环境执行。