SuperAPI AI 工具集

evaluate-presets

测试与质量

查看项目

更新于 10-16 01:15

技能介绍

用途:评估 Ralph 的帽子集合预设。适合在预设配置变更后测试、审计预设库质量、验证新预设、或修改帽子(hat)路由逻辑后使用,通过 shell 脚本直接调用 CLI,不引入元编排复杂度。

主要能力:脚本会对每个预设加载测试任务(来自 tools/preset-test-tasks.yml,需 yq)、生成合并配置、以 --record-session 运行 Ralph 采集指标,并保存输出日志、退出码与耗时。产物写入 .eval/ 目录,包含 output.log、session.jsonl、metrics.json、environment.json、merged-config.yml 及 latest 软链;全量脚本还会生成 SUMMARY.md 与各预设 JSON。共评估 12 个预设(如 tdd-red-green、adversarial-review、api-design、migration-safety 等),每个预设对应固定测试任务。

使用方式: 单预设:./tools/evaluate-preset.sh tdd-red-green claude 全量:./tools/evaluate-all-presets.sh claude 第一个参数为预设名(不含 .yml),第二个为后端(claude 或 kiro,默认 claude)。 通过 Bash 工具调用时建议 timeout: 600000 且 run_in_background: true,因评估可能运行数小时,需用 TaskOutput 定期查看进度。

结果解读:退出码 0 表示成功(达到 LOOP_COMPLETE),124 为超时,其他为失败需查 output.log。metrics.json 含 iterations、hats_activated、events_published、completed。重点验证帽子是否每次迭代获得全新上下文:正常应每顶帽子各占一次迭代,若出现同迭代内多顶帽子切换即为错误(上下文臃肿)。可用 grep 统计迭代数与事件数,迭代数≈事件数属正常,迭代数远小于事件数说明存在同迭代切换。

限制与前置条件:需要能构建 Ralph 的 Cargo 环境;yq 为可选(brew install yq),用于从 YAML 加载测试任务。修复流程需借助 /code-task-generator、/code-assist 等子代理,具体实现细节依资料而定。其他平台支持与收费信息暂未提供。