SuperAPI AI 工具集

evidence-first-review

编程与开发

查看项目

更新于 11-11 14:51

技能介绍

证据优先评审(Evidence-First Review)是一套用于审核 AI 代理已完成工作的技能。其核心理念是:"所有测试通过,可以合并"只是一项声明,而非证据。应当先阅读代理实际执行了什么,再阅读它对执行结果的描述。接受这项工作的标准是:能够向后续维护者为其辩护,并能说出所采用的检查会遗漏什么。该技能强调对结果负责;若需要对 diff 本身进行干净上下文的代码审查,可与 independent-review 配合使用。

一、用途 在代理声称完成工作后,核实其结论是否由真实证据支撑,避免把未经检验的声明带入生产环境。

二、主要能力

  1. 证据先于总结:打开 transcript 或工具日志,而非最终消息。对每条支持“已完成”的命令,核查三点:是否在最终代码上运行、是否以状态码 0 退出、输出是否与总结所述一致。常见缺口包括:测试运行于最后一次编辑之前;使用 -t compaction 之类的过滤条件跳过了真正重要的测试套件;在未复现问题的情况下声称“已修复”;构建通过仅因某一步骤被跳过。
  2. 为每个通过的检查指明一项能证明和一项不能证明的属性(见下表)。
  3. 索取决策清单:询问代理选择了哪些默认值、哪些内容被排除在范围外、在何处因需求冲突而重新解释要求。这些选择往往会在无人决策的情况下进入生产;每一项都应被接受、修改或退回。
  4. 尝试证伪:追问“要使这一结论为错,需要满足什么条件”,然后亲自核查该条件。对于分析和文档类工作,打开两个被引用的来源,并重新计算结论所依赖的一个数字。
  5. 确保理解:随机抽取 diff 中几行,在不借助帮助的情况下进行解释;对于较大改动,要求代理提供以三个关于该改动的问题结尾的简短报告,并在合并前作答;对于有争议的判断,让全新的子代理论证相反立场,再由自己决定。最后向全新上下文提问:“我遗漏了什么?”
  6. 做出决定:接受(证据吻合、决策已审阅、能说出缺口);要求补充(证据缺失或决策未解释);转人工评审(高风险且无法说明检查会遗漏什么)。

三、使用方式 打开代理的执行记录与工具日志,逐条比对命令与总结;填写“证明/不能证明”表;向代理索取决策清单并逐项处置;尝试证伪并亲自核验;抽查 diff 并解释;必要时引入新子代理提出反方观点;最终在三种结论中选择其一。输出报告时,先给出证据(命令与结果),再说明检查了什么、有一项未检查什么,以及关键决策。

四、检查对照示例

  • 新增单元测试通过:能证明该函数对给定输入返回 X;不能证明调用方会传入该输入,也不能证明测试未采用同样错误的假设。
  • pnpm typecheck:能证明类型相互匹配;不能证明运行时行为。
  • 使用 mock 模型的 E2E:能证明循环已正确连接;不能证明真实模型输出相关的任何内容。

五、适用场景 适用于代理完成代码改动、分析或文档工作后的验收与合并前评审,尤其适合需要向维护者交代结果、或需明确检查盲区的场景。

六、限制 该技能依赖代理提供可访问的执行记录或工具日志;若无法获取证据,则难以完成核验。它不替代针对 diff 本身的独立代码审查,需与 independent-review 配合。对于高风险场景,若无法说明检查的遗漏,应转人工评审。