SuperAPI AI 工具集

evidence-rules

通用与其它

查看项目

更新于 10-16 06:56

技能介绍

用途

Evidence Rules 是一套面向工程与协作场景的证据规则,用于识别和防御那些“不报错但可能错误”的状态。其核心主张是:一个错误的谓词和一次缺失的通知,都会产生看似合理、安静、可检查的状态,二者都不会抛出错误;唯一的防御方式是通过不同机制进行第二次读取。

该技能将这一主张展开为十条规则,并强调这些规则不是十节独立的课程,而是同一个失败在十个不同位置的显现,因此可以迁移到与最初发现它的代码库毫无共同点的其他代码库和集群中。

主要能力

规则覆盖以下方面:

  • 规则 0:询问工件“坐落在什么之上”,以及那个基础是否移动过。包括 CI 定义在未变分支下改变、依赖在未变文件下改变、第二个 ref 在未变分支下移动三种成员。
  • 规则 0a:在编写针对 API 数据的谓词之前,检查该 API 是否已经回答了这个问题。大多数聚合问题已由拥有数据的服务计算完成。
  • 规则 0b:当谓词决定是否停止时,在决策旁边打印原始状态。两次读取必须通过不同机制(不同通道,而非不同工具)获得。
  • 规则 1:一个门必须能说出使其变红的输入。如果无法说明什么输入会让它失败,它就不是门,而是一盏接在空处的绿灯。
  • 规则 2:破坏性谓词需要其“豁免”情况,并通过变异来证明。对于动作为删除的谓词,需要构造一个必须豁免的输入和一个必须回收的输入,并展示两者都成立。
  • 规则 3:缺失只有在携带“搜索空间大小”时才是证据。“无匹配”是关于搜索的声明,“在 188 个文件中无匹配”是关于树的声明。
  • 规则 4:搜索空间上限制造假阴性,结果集上限不会。判断标准是上限出现在决定答案的事物之前还是之后。
  • 规则 5:在读取输出之前检查退出码,而不是之后。已发出输出的超时命令会表现为已完成的命令。

此外,规则还涉及:当仪器不一致时要明说;一个合并事件可能同时造成通知缺口和过期缺口;通知合并不是礼貌,而是保护另一个 PR 证据的机制;审计中名词正确但集合不是问题所问的集合时,干净否定与有界否定是不同的声明。

使用方式

该技能以规则文档形式提供,每条规则配有“不适用”条款,说明规则在何处不生效。文档提到每个规则的工作示例位于 references/worked-examples.md。

规则强调:一个被应用到所有地方的规则是没人会遵守的规则;知道规则在哪里不生效,才是它可存活的原因。

适用场景

适用于需要验证状态、判断是否停止等待、执行破坏性操作、进行搜索或审计的工程与协作场景。特别适用于那些失败会“陷入沉默”的谓词——决定停止等待、停止搜索或停止检查的谓词。

限制

每条规则都带有明确的“不适用”条款。例如:规则 0 在工件不编译也不固定任何东西时不适用;规则 1 在检查的目的是报告状态而非门控时不适用;规则 2 在动作可逆且逆转成本低时不适用;规则 3 在正面发现时不适用;规则 4 在显示用途时不适用;规则 5 针对的是读取顺序而非更好的仪器。

文档还指出,当前最佳谓词本身并不保护你,因为观察到的失败模式是人们采用了谓词却丢弃了打印;应假设存在第五个尚未被发现的变体。