用途:对 Claude Code 技能进行结构化评测,验证其触发是否准确、工作流是否正确、输出质量是否达标。整个流程基于多代理流水线,包括执行器、评分器、比较器与分析器。
主要能力与流程: 一、定义评测集。可从 JSON 文件(如 evals/evals.json)、内联提示或根据技能描述自动生成。评测集包含 skill_name、skill_path 以及评测项列表,每项含 eval_id、eval_name、prompt、input_files、assertions(名称、检查条件、权重)和 should_trigger。无评测集时可运行 python scripts/generate_eval_set.py <skill-path> 生成初始集,交由用户审核修改。 二、建立工作区。评测工作区应放在技能目录之外,避免产物混入技能文件。每个迭代目录下按 eval 编号分目录,各含 eval_metadata.json 及 with_skill 与 baseline 两个运行的 outputs、timing.json、grading.json,另有 benchmark.json 与 benchmark.md。 三、执行评测。每个评测同时启动两次运行:启用技能运行与基线运行(新技能不加载技能,改进技能先用旧版本快照)。运行委托给 agents/skill-forge-executor.md,并记录 total_tokens、duration_ms、total_duration_seconds。 四、评分。委托 agents/skill-forge-grader.md 按断言逐条判定,写入 grading.json,含每条断言的 passed、evidence 和整体 pass_rate。 五、汇总分析。运行 python scripts/aggregate_benchmark.py <workspace>/iteration-<N> --skill-name <name> 生成 benchmark,包含每次评测通过率、平均耗时与 token、提升比率;再由 agents/skill-forge-analyzer.md 发现隐藏模式、失败断言类型与回归。 六、报告与反馈。生成含总体指标表、逐评测结果表、模式洞察与改进建议的报告;用户反馈写入 feedback.json,可传给 /skill-forge evolve 进入下一轮迭代。
高级能力:盲测比较。委托 agents/skill-forge-comparator.md,传入 with_skill/outputs 与 baseline/outputs 两个目录,比较器随机标注版本 A/B,在不知新旧的情况下按断言评分。
错误处理:执行超时(超过 5 分钟)终止并标记 timed_out;崩溃时写 error.txt 并继续其余评测;无法判定时 passed 置为 null 并附证据;缺失 timing 或 grading 文件则标记该评测不完整;始终汇总已有结果,不因单个失败阻塞。
质量门禁:确认所有评测均已执行、每次运行均有计时、所有断言均有证据评分、benchmark 已汇总通过率与耗时 token、分析器模式已记录、结果已呈现给用户。
限制:资料未提供具体安装命令、运行环境依赖、收费与平台信息;该工具面向 Claude Code 技能评测,其他场景是否适用暂未提供。