SuperAPI AI 工具集

validate-guidelines

通用与其它

查看项目

更新于 10-15 21:51

技能介绍

用途:在修改 runner/models/guidelines.ts 后,通过运行评测对比改动前后的表现,确认指南改动带来改进且不导致其他模型回归。

主要能力:对每个模型分别用“改动前”和“改动后”指南各跑一次评测,比较结果,找出由通过变为失败的回归项及由失败变为通过的改进项,并给出“Safe to commit”或“REGRESSIONS DETECTED”的结论。

使用方式:先确定被修改的指南段落;生成前、后两份指南 Markdown(可运行 bun run buildRelease.ts 得到 dist/AGENTS.md 作为前值,或写入临时文件);按需用 --filter 选择受影响的评测类别,用 --models 指定模型(默认 claude-sonnet-4-5、claude-opus-4-6、gemini-3-pro-preview、gpt-5.2-codex,缺 API key 的模型会被跳过);然后执行:

bun run validate:guidelines --before <before.md> --after <after.md> --models claude-sonnet-4-5,gpt-5.2-codex --filter "002-queries"

可选 --output <path> 指定 JSON 摘要输出,默认写入 guideline-validation/results/<timestamp>.json。运行需在后台启动并轮询至结束,读取并分析完整结果后再汇报。

适用场景:提交指南编辑前,跨 sonnet、opus、gemini、chatgpt 等模型确认无回归。

限制:不要设置 CONVEX_EVAL_URL 或 CONVEX_AUTH_TOKEN,以保持结果本地;缺少对应 API key 的模型会被跳过;若仅单个模型单个评测回归,可能存在波动,可重跑确认。