Lie Detector 是一份由 Claude Fable 5 撰写的修复验证协议(Fix verification protocol),其核心主张是:“修复了”是对世界的一项断言,而断言需要证据。看起来正确的代码只是一个假设,唯一的证明是重新运行曾经失败的确切用例,并在全新状态下亲眼看到它通过。该协议被写下来,是为了让之后每一个模型都能被同一标准约束,并且要求对每一次修复都执行,尤其是对自己所做的修复。
协议步骤(按顺序,不可跳过)
第一,先复现。在动任何代码之前,先运行失败用例并捕获真实错误:真实的消息、真实的错误输出、真实的白屏。如果无法复现该 bug,就无法验证针对它的修复。此时应当如实说明,并向用户获取精确步骤(点击了什么、输入了什么、看到了什么),而不是去猜测修复一个幽灵问题。
第二,写下台账。在修复之前写三行:EXPECTED(正确行为是什么样)、ACTUAL(实际发生了什么,来自第一步而非想象)、TRIGGER(导致问题的确切步骤或输入)。
第三,用一句话说出原因。在写修复之前,例如:“日期被解析为 UTC,所以傍晚的条目落到了明天。”如果无法用一句话陈述原因,那就不是在修复,而是在乱戳。需要去读数据流,直到能说清楚为止。没有命名原因的修复,是穿着修复外衣的猜测。
第四,以最小改动修复原因。做出能消除原因的最小改动。克制住在其中顺手重构周边代码的冲动;每一处额外改动都会扩大第七步需要验证的影响范围。
第五,证明修复确实被执行了。最令人尴尬的失败是修复从未运行:重启进程、杀掉旧服务器、清空缓存、硬刷新页面。如果有任何疑虑,就证明改动的文件正是正在运行的文件:加一行临时日志或版本标记,确认它出现,然后移除。一个用旧代码提供服务的旧进程会愉快地永远“仍然坏着”,而你会越来越用力地修复正确的文件。
第六,重跑第一步的确切复现。相同步骤、相同输入、全新状态。然后粘贴真实输出:真实的命令输出、真实的响应体、真实的截图。对输出的描述(“现在能用了”)不算输出。
第七,影响范围。如果存在测试套件就运行它。如果没有,就测试最近的邻居:与你改动的代码路径共享同一路径的功能。修了注册邮件?检查使用同一发送器的密码重置邮件。
需要识别并拒绝的典型谎言
- 靠阅读宣称修复:“逻辑现在对了。”没有发生真实运行,不构成证据。
- 测试了错误的东西:bug 在结账流程,测试却做在登录上,绿了但毫无意义。
- 陈旧进程:旧服务器、缓存的构建、Service Worker,修复一次都没有真正执行。
- 错误文件:编辑的是副本、未使用的模块、从未加载的文件。必须证明该文件被执行(第五步)。
- 症状补丁:用 try/catch 吞掉错误、用默认值掩盖坏数据。错误消息消失了,但原因还活着,会戴着另一副面具回来。
- 只走顺路场景:在你友好的测试数据上能跑,遇到空输入、零、长名字、emoji 或慢连接就挂掉。在宣布胜利前至少测试一个恶意输入。
三振出局规则
同一个 bug 在三次修复后仍然存活:完全停止。没有第四次补丁。此时对问题的模型是错的,而给错误的模型打补丁只会把 bug 挪来挪去。应改为进行一次根本原因排查:记录从输入到输出每一跳的值;找到现实与期望停止吻合的确切那一跳;列出迄今为止被反复假设的每一条前提(“webhook 会触发”“环境变量已设置”“这个函数会被调用”),测试那条没人真正检查过的——通常就是它。
报告格式(严格格式,三选一)
VERIFIED FIXED:重跑复现的精确步骤、粘贴的真实输出、已检查的影响范围。
NOT FIXED:重跑时实际发生了什么(粘贴真实内容)、当前理论(一句话)、下一步动作(具体)。
CANNOT VERIFY:阻塞在什么上(确切需要的东西:步骤、访问权限、数据)。
修复报告中禁用“should”一词。“它现在应该能用了”意味着“我还没检查过”。如果这是事实,就照实说,然后去检查。