SuperAPI AI 工具集

nightly-eval-investigation

测试与质量

查看项目

更新于 10-15 21:54

技能介绍

用途:自动化检索并多智能体对比 GCS 上的 nightly 评估运行,诊断系统级指南健康度、任务漂移和过度规定指南。

主要能力:跨 Claude Code、Codex CLI、Jetski CLI 三种智能体对比结果,发现与智能体无关的模式;审计指南发现(漏用或过度检索);按阈值标记任务;输出可供下游自动化消费的 Markdown 与 JSON 产物。

标记标准:MISSING_EXPECTED_GUIDE(三次中两次缺失预期指南)、TOO_MANY_GUIDES_CONSUMED(三次中两次消耗 3 个及以上指南)、LOW_GUIDED_PASS_RATE(三次引导通过率均低于 75%)、HIGH_UNGUIDED_PASS_RATE(三次无引导通过率均达 70% 及以上)。

使用方式:先列出 GCS 套件 gcloud storage ls gs://guidance-evals/,按智能体分组选最新时间戳文件夹;用 gcloud storage rsync 同步到 harness/results/<folder_name>(排除 zip 与 png);运行 node --experimental-strip-types .agents/skills/nightly-eval-investigation/scripts/investigate.ts 生成报告与上下文 JSON;再对每个被标记任务做定性深挖,写入报告;最后告知用户可手动运行 node --experimental-strip-types .agents/skills/nightly-eval-investigation/scripts/publish_report.ts 发布 GitHub issue。

限制:严格只读诊断,禁止修改 guides/ 下任何文件;建议只能写入报告;必须完成所有被标记任务;未触发标记的标题需省略;不得自行执行发布脚本或创建 GitHub issue。