用途:对 Claude Code 技能做可重复的性能基准测试,衡量并跨迭代比较技能表现,服务于发布前质量门禁。
主要能力:支持多次试验(默认 trials_per_eval 为 3)与方差分析;同时运行 with-skill 与 baseline 两组以计算 improvement_ratio、token 节省与时间节省比例;按阈值(min_pass_rate、max_avg_tokens、max_avg_duration_seconds、min_improvement_ratio)做门禁判定;与上一迭代对比,列出回归项与改进项。
使用方式:以已有 eval 集(evals/evals.json)或自定义 benchmark 配置(含 skill_name、skill_path、eval_set_path、trials_per_eval、baseline_type、thresholds 等)启动;逐条 eval 多次运行,记录 pass/fail、token、时长,保存 timing.json 与 grading.json;随后聚合:python scripts/aggregate_benchmark.py <workspace>/iteration-<N> --skill-name <name>,生成 benchmark.json;再对比前次基准并生成含汇总、回归、改进、逐条明细、方差分析与建议的报告。
适用场景:技能迭代后的效果验证、发布前阈值把关,以及定位低可靠性 eval。与 skill-forge-eval、skill-forge-evolve、skill-forge-publish、skill-forge-review 协同。
限制:阈值不通过时不得批准发布,需先修复;不足 2 次试验时方差标记为不可靠;试验超时或崩溃则从方差计算中排除并标注 trials_completed 与 trials_requested;baseline 全部失败时只报告 with-skill 结果并跳过 improvement_ratio;通过率等于阈值按通过处理。具体运行环境与依赖细节暂未提供。