用途:Improvement Evaluator 衡量一个 Skill 是否让 AI 在真实任务上表现更好,而非只看 SKILL.md 文档结构。内部基准显示文档结构评分与执行通过率之间 R²=0.00,因此需要执行测试。
主要能力:按 YAML 任务集运行任务并判定 pass/fail,产出 execution_pass_rate;与原始 SKILL.md 基线对比给出 delta 和 verdict;支持 per-task 明细、baseline 健康提示与 warnings;可通过 --baseline-cache-dir 缓存基线(7 天 TTL),--pass-k 默认 1。
任务集:YAML 格式,version 固定 "1.0",含 5-10 个任务,每任务需唯一 id、非空 prompt 与 judge。判定器三种:contains(关键词全含,大小写不敏感)、pytest(测试文件须以 fixtures/ 开头,经 AI_OUTPUT_FILE 接收输出)、llm-rubric(按 rubric 打 0.0-1.0 分,过 threshold 即 pass)。确定性判定器更快更省,优先使用。
使用方式:pipeline 模式需 discriminator 的 ranking artifact,命令 python3 scripts/evaluate.py --input ranking-artifact.json --candidate-id cand-01-docs --task-suite task_suites/target-skill/task_suite.yaml --state-root /tmp/eval-state --pass-k 1 --baseline-cache-dir /tmp/baseline-cache --eval-threshold 6.0 --output /tmp/eval-result.json;standalone 模式用 --standalone --task-suite --skill-path --state-root --mock。输出 JSON 到 <state-root>/evaluations/<run-id>.json,含 execution_pass_rate、baseline_pass_rate、delta、verdict、逐任务结果、baseline_health、warnings、truth_anchor。verdict 在 delta>=0 时为 pass,候选 discriminator 分低于 --eval-threshold 时为 skipped。
适用与限制:适合验证 SKILL.md 修改、对比版本回归、为 improvement-gate 提供执行证据、独立开发期评估。不用于文档结构评分(用 improvement-learner)、候选语义打分(用 improvement-discriminator)或完整流水线(用 improvement-orchestrator)。执行测试每任务调用一次模型,成本高于结构检查;LLMRubricJudge 支持 --mock 本地测试。基线低于 20% 仅记录 warning 不中断。