SuperAPI AI 工具集

comprehensive-test-review

测试与质量

查看项目

更新于 10-16 06:19

技能介绍

用途:审查指定 pytest 测试能否区分必需行为与相关故障。判定覆盖或风格前,先确认产品目的、支持环境与权威契约;每个期望视为待验证主张,而非因已写成测试就自动有效。需加载 Python Development Standards 获取适用共享规则,保留现有框架/mock 用法与支持的 Python 最低版本。

主要能力:按有效性清单逐项检查——oracle 有效性(期望是否源自权威需求/接口,识别过时或矛盾需求)、故障敏感性(是否在原始缺陷或有意注入的故障上失败,且真正触达目标断言而非收集/导入/setup 错误)、重构容忍度(保行为变更后期望仍有效)、边界忠实度(是否触及承载保证的入口、交接、状态转换或外部契约,注意 mock/fake/fixture/绕过适配器移除了哪些观测)、隔离(时间、随机、环境、共享状态、顺序、并发与清理)、诊断价值(失败能否指出被违反属性与输入/状态差异)。

使用方式:审查流程包括读目标与契约,完整读测试、fixture、产品入口与权威需求,定位测试在“产品到消费者”路径中首个可见边界;捕获基线(从测试指引/配置/CI 发现真实测试命令与选择,保留严格配置、警告策略、插件与运行版本,记录修订、命令、收集/选中用例、结果、跳过/xfail 及不可用环境,不得以子集代表全集);挑战有意义故障,对变更的回归保护比较原缺陷与修正行为,检查无害实现变化仍被接受;检查风险覆盖与可维护性;仅在授权下提出或应用修正,并区分产品、接口/架构、oracle、harness 缺陷;验证增量,运行受影响的正、负、边界与集成用例,记录前后证据与剩余不确定性。

适用场景:pytest 测试评审、回归测试有效性核查、生成工件与 agent 技能相关断言审查,以及需要区分“通过/失败/受阻/未验证”结论的测试审计。

限制:不要求对每个测试执行变异;执行不可用时须记录拟用控制并标记故障敏感性为未验证,不得从源码或覆盖率推断。破坏性或外部影响须留在安全授权的测试环境。覆盖率只表示执行,不等于能拒绝错误结果。不得在新鲜度断言前立即重新生成并当作原状态最新之证据。非确定性 agent 需预声明可接受结果与关键不变量,保留 trace 并报告重复运行不确定性。相关技能:Test Failure Mindset、Test Design、Testing Patterns;可委托 python-engineering:python-pytest-architect 并审查其执行证据。该协议不要求安装 DH 或 Process Siren。