SuperAPI AI 工具集

oracle-review

测试与质量

查看项目

更新于 10-16 06:56

技能介绍

用途

oracle-review 用于审查 TanStack DB 中的 oracle 以及由 oracle 生成的历史测试。它的核心目标是同时回答两个问题:oracle 是否真正执行了它所声明的法则,以及该法则本身是否是值得承诺的正确法则。资料指出,通过的测试可能与错误的理论并存,失败的测试也可能与正确的生产行为并存,因此审查不能仅以测试通过与否作为判断依据。

主要能力

该技能提供了一套结构化的审查方法,包括:

  • 阅读 oracle 指南、术语表以及覆盖图中相关的 owner 和 limits。
  • 遵循 AGENTS.md 中的子系统阅读要求。
  • 沿 oracle 的权威声明追溯到最近的公共契约来源,并检查审查范围内的相邻承诺。
  • 独立于实现,从契约中重建一个被承诺的观察。
  • 追踪实际模型、合法历史、生产路径、记录器和比较逻辑。
  • 从工具库中选择合适的攻击方式,包括对抗性审查、法则发现、张力扫描、法则重构和变异缺口搜寻。

使用方式

审查者需要先完成上述阅读与追溯步骤,然后根据实际的不确定性选择攻击方式,而不是运行所有卡片或要求每个层级都有发现。在授权且可委托的情况下,可以使用新的审查者进行独立挑战,向其提供工件、来源和任务,但不提供作者期望的结论。自我审查需明确标注为自我审查。

对于每个发现,需给出:被质疑的声明、来源或权威、最小合法见证或具体设计后果、证据状态,以及修复或下一步实验。对于已确认的缺陷,需解释现有 oracle 为何遗漏它,并指出最小的通用改进。

适用场景

该技能适用于 TanStack DB 中 oracle 与生成历史测试的审查工作,尤其是在需要判断 oracle 是否执行了正确法则、是否存在契约与实现之间的偏差、以及是否需要重构或调整法则时。它也适用于需要独立挑战、变异测试缺口分析或张力扫描的场景。

限制

资料强调,不得编造发现、不得退役法则、不得改写预期以使审查显得果断。必须区分已执行结果与源码检查及提议实验。设置错误或超时不能作为变异体在比较阶段被拒绝的证据。已接受契约下的缺陷必须与修改契约的提议分开。批评可以建议不同、更安全或更常规的行为,但必须指明外部标准或工程理由、其适用性以及迁移成本。现有行为不能证明其自身的正确性,偏好也不能证明契约违规。最终需报告有支持的发现与剩余不确定性。