SuperAPI AI 工具集

verify-this

测试与质量

查看项目

更新于 10-16 02:01

技能介绍

用途

Verify This 用于验证一个具体主张,而不是对工作做总结复述。它的核心目标是:用可重复的证据证明或证伪某个说法。

何时使用

  • 当有人提出“验证这个”“证明它能用”“这次修复是否生效”或“给我看证据”时。
  • 当 bug 修复需要前后复现对比时。
  • 当页面、API、智能体输出或性能主张需要测量时。
  • 当测试通过,但用户可见行为仍需确认时。

不适用于“代码更整洁了”这类模糊主张;遇到这类情况,应先要求对方给出可测量的主张。

工作流

  1. 把主张改写为可证伪形式:条件、指标、阈值。
  2. 选择能够证伪它的最小本地验证面(见下文)。
  3. 从旧状态采集基线:合并基点、父提交,或当前损坏的复现(对基点使用 git worktree 会得到独立的验证实例)。
  4. 用相同的命令、数据和环境,从变更状态采集处理结果。
  5. 对比原始产物:数字、快照、HTTP 响应、运行行、评估表。
  6. 返回唯一结论:VERIFIED、NOT VERIFIED 或 INCONCLUSIVE。

本应用中的本地验证面

  • 代码行为:聚焦的单元测试(node --test test/unit/<file>)。
  • 页面:node scripts/verify.mjs(verify-app 技能):snapshot、screenshot、network-summary --since-mark、trace。
  • API 与网络:verify api <path>,在变更前后分别执行。
  • 智能体写出的内容:node scripts/verify.mjs up --real 并驱动它,或使用 hachej/boring-stack 的 evals 来验证专家技能。
  • 性能:verify perf,或在同一台机器上分别获取基线与处理结果的计时。

结论规则

  • VERIFIED:基线与处理结果按预测方向出现差异,达到所声称的阈值,且没有明显混杂因素。
  • NOT VERIFIED:行为未改变、朝错误方向变化,或未达到阈值。
  • INCONCLUSIVE:没有有效基线、信号噪声大(例如智能体输出在 3 个案例上噪声较大)、测量失败,或环境差异使对比失效。

输出格式

输出包含:结论(VERIFIED | NOT VERIFIED | INCONCLUSIVE)、主张(可证伪的主张)、证据(指标/产物:baseline=<...>, treatment=<...>, delta=<...>, threshold=<...>)、推理(一段紧凑文字,指明证据和任何混杂因素)。

限制与注意事项

  • 不要弱化负面结果;清晰的 NOT VERIFIED 是有用的。
  • 永远不要把真实用户数据放进要提交的产物中。
  • 该技能改编自 Cursor 的 cursor-team-kit/verify-this(MIT 许可,见 THIRD_PARTY.md),并适配了本应用的验证面。
  • 关于收费、价格、平台支持等具体信息,资料中暂未提供。