SuperAPI AI 工具集

repo-verify

测试与质量

查看项目

更新于 10-15 20:06

技能介绍

用途:确认一个修复 PR 是否含有真实回归测试。它不依赖“PR 改动了测试文件”这类静态信号,而是实际运行测试,验证测试在修复前失败、修复后通过。由于在一次性 git worktree 中执行,当前工作检出不会被改动。

主要能力:检查指定 PR 或 base/head SHA;输出 verified 布尔值与原因(如 real fail→pass)。

使用方式:

python3 scripts/verify_env.py /path/to/repo --pr 22

或: --base <sha> --head <sha>

查看 verdict:verified: true 表示 PR 测试复现了 bug 且修复使其通过;verified: false 会说明原因,例如 PR 未改测试、测试在 base 已通过(未复现)、修复后仍失败(构建或环境问题),或套件是 e2e/数据库依赖、无法封闭运行。若出现 e2e/integration 警告,通常需要真实服务器或数据库才能复现。要批量扫描仓库,可遍历其修复 PR,保留返回 verified: true 的。

限制:无法复现的构建属于合理的 verified: false,应记录而非反复重试;测试工具运行 PR 自带测试,若测试与修复同时编写,只能说明修复有效,不能证明 bug 独立存在;依赖安装为尽力而为且有时间限制,安装出错导致的 verified: false 表示仓库需要合适的构建环境,并不代表修复有问题;只运行 PR 中改动的测试文件而非完整套件,因此只检查 fail→pass 前提,不验证其余套件仍通过。