SuperAPI AI 工具集

maintain-formal-verification-skill

编程与开发

查看项目

更新于 10-20 09:41

技能介绍

用途

形式化检查证明的是它所描述内容的一个属性。当代码发生变化而验证未同步时,检查可能继续通过,但它描述的已是不再存在的代码;这种通过尤其危险,因为它看起来像是证明。本技能是维护循环,用于由 create-formal-verification-skill 技能生成的验证技能,或任何针对指定代码运行模型检查器、证明器或代码级验证器的项目本地技能。项目本地技能处理智能体使用该技能期间所做的变更;本技能处理绕过了它的变更:合并、未通过该技能所做的编辑,以及跨多次提交积累的漂移。

结果分类

每个检查给出一个结果并说明属于哪种:

  • in sync(同步):自上次同步以来的变更没有改变检查所描述的内容,且检查通过。
  • updated(已更新):代码已变更,验证现在描述新代码,且检查通过。
  • bug(缺陷):验证描述的是当前代码,而代码违反该属性。这是关于代码的发现,不是漂移。
  • blocked(受阻):无法使检查恢复一致或无法运行。需明确说明原因。

一个检查可以同时是 updated 和 bug:更新使验证重新描述代码,随后属性在其上失败。

编辑范围

只编辑验证相关内容:模型、测试夹具、属性文件以及验证技能本身。运行期间绝不编辑产品代码,除非用户要求。当属性在当前代码上失败时,不要削弱属性或模型使其通过,应报告失败。

步骤

  1. 找到检查。验证技能没有固定名称,需按其功能查找:针对指定代码运行模型检查器、证明器或其他验证器的项目技能。阅读找到的每个技能,或用户指定的那个。对每个检查收集:属性、覆盖的代码、边界与假设、运行命令、以及最后一次确认它描述该代码的提交。若不存在验证技能,停止并指向 /create-formal-verification-skill。若技能未记录同步提交,则使用最后一次修改验证文件的提交,并说明这一点。

  2. 按原样运行。在改动任何内容前,对每个检查运行一次并记录结果。此处通过并不表示代码正确,只表示旧描述仍成立;此处失败可能是漂移或缺陷,在步骤 5 前不要判定。

  3. 阅读对覆盖代码的每一处变更。从同步提交到当前提交对覆盖文件做 diff,并阅读每个提交信息。同时查找移动的代码:被覆盖函数若被重命名、拆分或移到其他文件,仍属覆盖代码。还要查找触及检查所守护状态的新代码,例如写入相同字段的新函数。对每处变更判断属于以下哪种:

    • 无影响:变更未改变验证所描述的任何内容,如格式、注释或验证未覆盖的代码路径。需对照模型或测试夹具判断,而非对照提交信息。
    • 验证不再描述代码:原本不可分割的一步变为两步、新增或移除分支、检查移动、新路径到达受守护状态、或某值范围改变。模型或测试夹具必须修改。
    • 承诺被有意改变:变更改变了代码的承诺,且变更中的证据表明这是有意的:文档注释、测试、变更日志或提交信息。属性必须修改,并须引用该证据。
    • 承诺可能被破坏:代码已变,且无证据表明承诺改变。随后的失败应视为缺陷候选。
  4. 从代码出发更新,而非从结果出发。修改模型或测试夹具,使每个变更部分重新指向评审者可打开的代码,保持代码中一个不可分割步骤在验证中也是一个步骤。在重跑之前依据代码写出更新,不要为让检查通过而塑造它。仅对有意改变的承诺修改属性,并写下旧措辞、新措辞和证据。除非变更使边界错误,否则保留边界;若必须降低边界,需在报告中说明。

  5. 重跑并判断每个结果。

    • 通过:检查可能在一个已失去失败能力的描述上通过。按属性所防范的方式破坏新代码,例如移除新增检查或重排新增步骤,确认检查能捕获它,然后撤销破坏。
    • 失败:将反例逐步回放到真实代码上。若某步骤在代码中不可能发生,则验证有误,修正验证并说明错在哪里。若每一步都可能发生,则是缺陷:指出引入它的提交,用代码自身的语言将反例表述为步骤序列,并用一句话说明危害。若对真实代码的廉价测试或复现能显示该缺陷,将其作为证据加入报告,但不要提交到产品代码。
  6. 更新验证技能。更新每个检查覆盖的代码、命令、边界、假设和同步提交。将同步提交设为所检查的提交。受阻的检查不要移动同步提交,并在报告中说明。然后像下一个智能体那样遵循验证技能一次,确认其步骤仍可运行。

报告

对每个检查告知用户:

  • 结果以及所阅读的提交;
  • 验证中改了什么及原因,每个变更给出简短理由:代码形态改变,或承诺被有意改变(附证据);
  • 重跑结果,以及用于表明更新后检查仍能失败的破坏操作;
  • 每个缺陷,用平实语言:以代码自身语言表述的反例步骤、危害、以及引入它的提交;
  • 验证仍未覆盖的内容,包括它应覆盖但未覆盖的新代码。

明确指出哪些失败是验证中的漂移、哪些是代码中的缺陷。对于更新前通过、更新后失败的检查,说明旧通过是基于过时描述。

将验证更新放在单独的变更中,与任何产品修复分开。