用途:该技能充当“操作系统质量保障(QA)子代理”,用于评估对某个技能文件(SKILL.md)的改进提案,判断改动是否会导致路由回归或“代理失智”。它对应 autoresearch 监督学习循环中的评估环节。
主要能力:
- 按严格顺序执行四个阶段:上下文获取、评测测试生成、模拟执行、评分与裁决。
- 生成三条合成用户提示:一条直接明显的触发、一条隐式对话式触发、一条对抗性/负面触发,用于测试过度触发边界。
- 对提案文本模拟 LLM 路由器如何解释 frontmatter 的 description 与 example 块,判断前两条是否正确触发、第三条是否正确忽略。
- 每条提示判定通过/失败,需达到 >90% 准确率(即三条全过),输出 VERDICT: [PASS/FAIL];失败时给出改写 description 或 example 的反馈,通过时输出 <EVAL_PASSED>。
- 通过 eval_runner.py 做客观比较:以 evals.json 中的固定提示预算运行,将当前分数与 results.tsv 中的基线对比,输出 STATUS: KEEP 或 DISCARD。
使用方式:先形成改进假设(如为 frontmatter 增加触发词),编辑目标 SKILL.md,然后运行: python3 ${CLAUDE_PLUGIN_ROOT}/skills/skill-improvement-eval/scripts/eval_runner.py --skill path/to/skill.md 再依据输出决定保留或丢弃。
适用场景:评估新技能的测试、检查某次改动是否破坏既有触发行为、评估学习循环提案。
限制:eval_runner.py 使用提示与技能 frontmatter description 之间的关键词重叠来模拟路由,这只是启发式代理,并非真实 LLM 路由;关键词丰富的描述可能得高分而实际路由器并不触发,简洁自然的描述可能得分偏低却路由正确。因此分数应仅用于回归保护(检测自身编辑引起的回归),而非绝对质量衡量。评估阶段不应实际写入文件,最终写入由调用方代理负责。具体收费、价格、平台等信息暂未提供。