benchmark-skills

用途：为技能编写 evals 并运行基准测试，衡量技能相比基线（不注入技能）是否真正有效。核心原则：只有两类技能能产生可测的基准差值——行为抑制（技能压制模型自然产生的坏模式）和真正的新知识（注入模型训练数据中没有的领域知识）。模型已知的通用知识、无明确行为目标的泛化质量改进、需要真实系统访问或多轮交互的技能不会产生差值，不建议基准测试。使用前提：技能需改变默认模型行为或注入新知识，支持单提示输入单响应输出，无需真实系统访问，且可设计出至少 2 个能稳定触发基线失败的陷阱提示。评测文件放在 skills/<skill>/evals/evals.json，包含 skill_name 与 evals 数组，每条含 id、prompt、expected_output、files、assertions（id、text、type）。陷阱输入需可靠引诱出坏行为，并需双向验证：基线确实出现坏模式，注入技能后不再出现。断言应具体、二元，优先使用 not-contains/regex，其次二元 LLM 判官；每个评测 3-5 条断言，混合否定与肯定。运行命令：bun run scripts/benchmark.tsx、--skill geo-optimizer、--model "$BENCHMARK_MODEL_ID"、--concurrency 4；在 Claude Code 中需加 CLAUDECODE= 前缀避免嵌套会话错误。结果输出到 benchmarks/latest.json 和各技能 evals/benchmark.json，关键指标为 pass_rate、baseline_pass_rate 与差值 Delta。Delta > +20% 为强技能，可发布；+1% 至 +20% 信号弱；0% 为无效果；负值表示技能有害。只发布正差值技能。已知经验：行为抑制类最易测，新知识注入若真新则有效，通用知识注入为 0%，需要系统访问的技能无法这样测，2-3 个优质评测优于 10 个平庸评测。