SuperAPI AI 工具集

gating

写作与研究

查看项目

更新于 10-16 02:35

技能介绍

用途:gating 用于构建和审计“门”(gate)——一种会阻断流水线的检查,其唯一职责是在应当失败时变红。它针对的风险是:检查本身无法失败,永远报 PASS,从外部看与正常检查无异。因此被怀疑的对象是检查本身,而非普通测试。

主要能力:提出每道门必须满足的三项义务。一是锚点,即检查所对比的、并非由自身实现产生的外部依据,如公开常量、闭式解、守恒律、已知结果的退化情形或独立实现;只与上次运行比较只能说明代码行为未变。二是已知坏例,即门能明确拒绝的坏输入,需按实际运行配置验证,并测量其覆盖范围。三是书面声明它无法捕获什么,因为覆盖漏洞在绿色运行中不可见。scripts/gate.py 会机械地强制第二、三项义务:当门未注册已知坏例或未声明覆盖限制时,返回退出码 2(INCONCLUSIVE,而非 PASS)。

使用方式:构建时先命名错误结论而非组件,再寻找锚点,优先使用区间断言而非单点检查,容差由实测噪声推导,并确认容差不过紧。随后构建已知坏例并确认变红,再运行 scripts/mutate.py 查找未想到的失败。最后接入非零退出码,并在被门控对象之前运行。审计已有检查套件时,对每条断言给出使其失败的具体输入,核对预言机范围,运行变异测试,查找真值不依赖被测对象的断言,以及宽于被测效应的容差。

适用场景:适用于结果或流水线中失败模式是“看似合理的错误数值”且能通过仔细阅读的情况,例如校准门、CI 检查。不适用于编排多步骤流程、运行仓库现有套件或决定测试什么。

限制:门只检查正确性,无法检查可比性;性能声明在本框架中没有锚点。同模型审查者只是独立上下文而非独立审查者。资料未提供收费、价格、平台或效果信息。