SuperAPI AI 工具集

chain-of-verification

智能体与模型

查看项目

更新于 10-31 13:14

技能介绍

验证链(Chain-of-Verification,CoVe)是一份供 AI 在任务执行过程中阅读的参考技能,其目的是让模型不要凭记忆下结论,而是用工具核对自己写下的每一项事实性断言,从而减少报告与评审中的虚构内容。资料给出的定位是“AI 消费的参考,为 Claude 在执行期间阅读而优化”,面向人类的说明则指向项目中的架构与入门文档。

用途与适用时机 当输出内容包含对代码、测试、安全、性能等具体事实的断言时,可用本技能进行核验。资料明确列出了不适合使用的情形:不含事实断言、只有文件清单的简单报告;不产生任何断言的快速修修复;用户给出明确指令且无需额外核验的情况(但涉及破坏性操作的断言仍需验证);以及对完全相同内容已经运行过 CoVe(可依据记忆缓存跳过)。同时,该技能在特定工作流的第四阶段被规定为强制使用,具体何时、为何使用由规则文件 rules/workflow/chain-of-verification.md 管辖。

四步流程 第一步“起草”:按常规方式生成答案或报告,此时不必优先追求正确性。 第二步“规划验证”:列出 3 至 5 个能够推翻草稿的聚焦问题。每个问题必须能通过工具回答(如读取、命令执行、搜索、文件匹配),不能靠记忆作答;必须保持独立,不预设草稿正确;必须具体,指向某个明确断言,而不是笼统印象。 第三步“执行验证”:对每个问题实际运行工具并记录真实结果,只记录实际是什么,而不是应该是什么。 第四步“修订”:将草稿中的每项断言与验证结果比对——被证实的保留,被反驳的改正,无法验证的软化表述(例如“看起来是……”)或删除。

示例说明 资料给出一个安全评审示例:草稿声称接口不存在 SQL 注入风险、限流为每分钟 100 次、写入数据库前已校验输入、密码比较具备时序安全性。随后规划五个工具验证问题,覆盖参数化查询、限流中间件、校验与写入顺序、密码比较函数、实际限流数值。执行后发现前四项被证实,而实际限流为每分钟 60 次而非 100 次,于是修订稿将该条标注为已纠正,其余标注为已核实。

常见需验证的断言类型 资料列举了需要 CoVe 的断言模式,包括:声称若干测试通过(应实际运行并统计通过/失败数)、声称覆盖率某百分比(应运行覆盖率工具读取实际数值)、声称没有安全问题(应搜索已知反模式并阅读被标记文件)、声称某函数存在于某文件(应用文件匹配或读取确认)、声称接口对合法输入返回 200(应运行请求或读取处理逻辑)、声称测试耗时多少秒(应实际运行计时)、声称文件有多少行(应实际统计)、声称某改动未破坏任何东西(应运行完整测试套件)。

反模式 资料警告了几类错误做法:凭记忆验证,例如“我认为该 ORM 使用参数化查询,所以通过”,必须实际执行搜索;提出引导性问题,例如“代码安全吗”过于含糊,应改为“某文件是否使用原始 SQL”这类具体问题;因为疲惫而跳过,实际上模型越自信时越需要运行 CoVe;问题过多,超过 10 个问题本身会成为偏差来源,应限制在 5 个以内;在原位修改却不标注变化,应始终标出被纠正之处,让用户看到捕获过程。

关联规则 本技能与若干规则和技能文件关联:规则文件规定其政策要求,并在第四阶段强制使用;核心验证规则是 CoVe 所具体实现的通用原则;不假设规则体现了起草后“绝不假设”的落地方式;代码评审技能将 CoVe 应用于评审输出中的事实断言,并逐条提供证据、场景与反驳检查;快速修复技能在根因诊断中加入验证步骤(调试功能已在 v3.5 合入快速修复)。资料未提供安装命令、收费方式、平台支持范围或效果量化数据。