SuperAPI AI 工具集

evidence-gate

测试与质量

查看项目

更新于 10-15 19:58

技能介绍

evidence-gate 是供回报型工作流(PR description、release notes、RCA report、security review)在草稿定稿、写回/交付前调用的事实查核关卡。核心原则:宣称不是证据,commit message 不是证据,记忆推论不是证据,只有现查的指令输出算证据(依 ~/.claude/rules/common/diagnostics.md)。它不同于 evidence-check,只管这份报告里的宣称是否对得上 live 事实,不做研究型调查。

用途与主要能力:把草稿里每条事实宣称拆成固定四列表格——宣称、证据指令、关键输出、判定。判定为三态:PASS(输出直接支持)、FAIL(输出与宣称矛盾)、UNVERIFIABLE(没有可重跑的指令能证实,须改写或剔除)。作者交出 schema 前须自己先跑一次证据指令,实际输出贴入「关键输出」,不得凭记忆写结果。

Diff-Grounding 规则:PR/release notes 描述「改了什么」一律溯源到 git diff 或 git log --numstat,范围固定用 origin/<base>..HEAD,永远先 git fetch origin,不用可能落后的本地 base branch。commit message 只用来定位该查哪段 diff,不能当证据本身。否定式叙述(「不动 X」「不新增 Y」)特别危险,X/Y 出现在 diff 文件清单即判 FAIL。查无对应 diff hunk 的宣称标 UNVERIFIABLE。

时间视窗规则:引用 Grafana/GSC/Prometheus/Loki 等有时间范围的指标时,查询参数本身(PromQL/LogQL/GSC API 参数)连同 start/end/range 要记进证据栏,不能只放结果数字;输出时间戳与宣称视窗不一致要在判定栏标下;仅凭「查过 Grafana」不附视窗一律判 UNVERIFIABLE。

证据持久化:原始输出、截图、query 结果落档在 .verification/YYYY-MM-DD/,任务结束不得删除,以便回头查核。

对抗性 fact-checker:草稿定稿后派一个 fresh-context subagent 独立重跑,不是自己再看一遍。它假设每条宣称是错的,逐条重跑证据指令,输出「CLAIM | 重跑指令 | 实际输出 | 判定」;只有全部 PASS 且 SCHEMA-DEFECT 为 0 才可交付。指令跑不动或明显假阴性时,用等价指令重跑并另列 SCHEMA-DEFECT 行,判定仍以实际输出为准。SCHEMA-DEFECT 与 FAIL 同为阻挡结果,退回作者修 schema 后重跑,不写回。

调用契约:/pr 在「建立或更新 PR」写回前传入 draft body 全文+origin/<base>..HEAD 范围;/release-pr 在「写回前的挡门」传入 draft title/body+compare API 的 commits/files 清单(既有「CLAIM | 验证指令 | 实际结果 | 通过?」格式即本 skill 表格的既有实例);alert-triage 在 RCA Report 定稿前传入假设+live 证据列;security review 在证据段落定稿前传入每条漏洞宣称+对应代码行号。调用方式为 caller 在对应步骤内套用表格与规则产出 claim schema,并在定稿前派 fact-checker subagent。本 skill 不提供独立的使用者可触发指令,是被其他 skill 引用的关卡逻辑。