SuperAPI AI 工具集

recipe-eval-skill

智能体与模型

查看项目

更新于 10-16 09:28

技能介绍

用途:这是一个编排器(orchestrator),不直接执行具体工作。它分为两个阶段:Phase A 通过交互对话创建或修改 Claude Code 技能;Phase B 通过盲测 A/B 配对比较评估技能的实际有效性,最后输出技能质量评级、触发检查结果、盲比结果与上线建议。\n\n主要能力:根据 $ARGUMENTS 自动判断模式——创建(create 或新的技能请求)、更新(improve、update 或提及已有技能)或未指定。编排器通过 Agent 工具调用子代理、通过 Bash 调用脚本,并在其间传递结构化数据:技能生成/修改由 rashomon:skill-creator 完成,质量评级由 rashomon:skill-reviewer 完成,测试任务执行由 eval-executor.py 脚本(通过 claude -p)完成,盲测比较由 rashomon:skill-eval-reporter 完成。执行前先用 TaskCreate 注册全部步骤,每步完成用 TaskUpdate 更新状态。\n\n使用方式:创建模式读 references/create.md,更新模式读 references/update.md;Phase B 读 references/eval.md 并传入交接数据(技能名称、源技能目录、留出测试请求、触发场景、旧技能目录快照与指纹等)。进入 Phase B 前需确认这些数据齐备;若留出请求少于两条,会要求用户提供至少两条逐字请求。Phase B 依次执行触发检查、失败处理(条件性)、以及步骤 3-7 的盲测 A/B 输出质量比较。\n\n适用场景:需要系统化编写 Claude Code 技能并客观验证效果的工作流。限制与前提:需要支持 git worktree lock 的 Git 仓库、PATH 中可用的 claude CLI、以及足够的磁盘空间存放 worktree 副本;Phase B 对源技能为只读;若 Phase B 中单个执行器失败则保留诊断信息并标记比较无结论,两个都失败则报告失败但 Phase A 结果仍有效;用户取消 Phase A 则停止且无需评估。