SuperAPI AI 工具集

gating-by-blind-restoration

智能体与模型

查看项目

更新于 10-15 10:16

技能介绍

用途

Gating by Blind Restoration 用于检查一个抽象层是否携带足够的可恢复结构。它通过严格的信息防火墙测试重建能力,而不是通过自我审查。该门控的权威来自两点:评分者从未见过原始来源,且作者从不给自己的作品评分。

何时使用

  • 在生成或提取规格说明、设计文档、Schema、API 契约或重构计划之后。
  • 当你需要回答“这个产物是否足以从中重建下一层”时。
  • 当产物的作者原本会评判自己的工作,需要独立验证时。

何时不使用

  • 主观质量判断(品味、“它是否有趣 / 优雅 / 写得好”)。防火墙无法决定这些,一个听起来自信的评分者只会盖章通过。不要对此设门控。
  • 当原始来源本身就是预期输入,因此没有抽象层需要被信任时。

所需输入

  • 待测试的单个产物文本。
  • 要重建的相邻层的定义(例如“一个可实现的结构”、“一个复现规格假设”、“上游需求”)。

流程

  1. 选择门控方向并准备一份保留的评估密钥:

    • 恢复——相邻层能否仅凭此产物被恢复?
    • 退化——此生成产物是否避免了一个盲重建者会立即发现的支配性利用 / 崩溃? 列出恢复结果必须保留的承重规则或利用条件。编排者保留此密钥;盲评分者永远看不到它。
  2. 生成一个独立的子代理,由编排者运行——绝不由产物的作者运行,因为作者已经看过来源,无法盲评。一个全新生成、只看到产物文本的评分者是一个真实、独立的门控;其判定是真正的门控判定——不要将其降级为“自我审计”。降级路径仅适用于根本无法生成独立评分者、且你必须从产生或读取来源的同一上下文中判断的情况:此时回退到显式的自我审计,并将结果标记为自我审计,而非门控判定。

  3. 强制执行输入防火墙:只传递产物文本。不要传递来源、同级产物、运行时追踪、观察结果、截图或仓库路径。一次泄漏就会使判定变得毫无价值。

  4. 任务要求其重建相邻层并报告:恢复的结构、歧义,以及它视为承重的规则。不要要求它推测与它无法看到的原始版本的匹配情况。

  5. 提出反事实问题。对于评分者恢复的每条规则,询问它实际会实现什么,而不仅仅是它认为产物说了什么。一条评分者能引用但会以不同方式实现的规则,并没有传递成功。这种分歧是门控最高价值的信号,仅靠可恢复性问题无法产生。

  6. 盲评分者返回后,让评估者将其重建和反事实实现与保留的密钥进行比较。此比较发生在防火墙测量之后;永远不要将密钥发回给评分者。评估者可以检查产物以统计出现次数和位置,但不得用自己的解读替换评分者报告的重建结果。

  7. 返回两个判定。

    整体产物:

    • pass——足以达到目标恢复水平。
    • weak-pass——核心结构可恢复,精确细节预期缺失。
    • fail——可恢复结构不足;产物必须修订。

    逐承重规则,由评估者根据盲证据分配:

    • unmissable——评分者无需提示即恢复,且其反事实实现与保留密钥匹配。
    • findable——相关文本存在,但评分者遗漏、报告歧义,或会实现相反内容。
    • absent——评分者未恢复,且评估者无法在产物中找到等效规则。

    对于 findable,引用解释传递失败的误导性位置或强调。对于 absent,引用未被恢复的保留密钥项;不要假装盲评分者能识别被省略的内容。两者都是修复项,即使整体产物判定为 pass。

要将门控接入多轮生成 / 提取流水线(一次性 vs. 查找→修复→重新检查、轮次上限、放弃分类),请加载 references/gate-loop-modes.md。对于单次独立检查,步骤 1–7 已足够。

验证

如果判定由具体的恢复 / 缺失结构支撑,而非“看起来不错”,则门控有效:fail 必须指出具体的不可恢复元素或具体的支配性利用;pass 必须指向它实际恢复的结构。逐规则判定必须将保留密钥项追溯到盲重建和反事实答案。

常见失败模式

  • 防火墙泄漏——来源或同级产物溜入门控输入;判定不再衡量该产物。
  • 自我评分——作者运行门控;偏向通过。
  • 门控品味——试图用防火墙测试主观质量而非可恢复性。
  • 无证据判定——仅给出 pass/fail,未指出恢复 / 缺失的结构。
  • 陈述但未传递——产物包含一条规则,正确且带有理由,但评分者仍会构建相反内容。已观察到:一条规则仅出现一次,位于一个更强调的无条件半句之后的从属从句中,且未出现在文档指定为规则摘要的任何部分;评分者引用它作为已恢复,并指出相反内容作为它会实现的内容。只有步骤 5 能揭示这一点。

输出

两个判定——整体产物(pass / weak-pass / fail)和逐承重规则(unmissable / findable / absent)——外加一份简短报告:恢复的结构、歧义、评估者的密钥比较,以及步骤 5 的反事实答案。

当产物在修复后通过时,让它携带一条明确注释,指明哪些条款是规则且必须在编辑中保留。修复产生的最强强化往往是关于门控的评论,而这是后续编辑者首先剥离的脚手架——在未触及任何规则陈述的情况下丢失修复。