SuperAPI AI 工具集

test-failure-mindset

测试与质量

查看项目

更新于 10-15 22:40

技能介绍

该技能用于诊断回归、调试测试错误时,指导在不把测试或实现当作自动权威的前提下调查 pytest 失败。

用途:在排查失败前先确立治理契约,验证测试所编码的预期行为声明是否与权威意图一致,避免为让测试通过而随意改动。

主要能力:区分多种竞争假设,包括实现缺陷、错误或过时的预期、生产者与消费者契约不匹配,以及夹具、mock、观测或 CI/环境缺陷;要求在改动测试或产品前先给出可区分的观察。调查协议包括:保留并复现(记录被测修订、实际检出的代码、命令、配置、依赖、完整失败输出及顺序或并行情况),在相同条件下安全复现并缩减;确立权威(阅读测试名称、注释、断言及相关历史,说明目的、消费者、可观察保证、不变量、权威来源与证伪条件);追踪两条路径(从入口点到消费者跟踪产品,从夹具经观测到断言跟踪测试,引用最早出现的契约偏离,失败断言在机制确立前只是症状);选择修正(按证据修正产品违规、无效预言或误导性测试装置,记录预期变化的原因);验证与学习(编辑前记录预期改进、基线、受保护不变量和不可接受的回归,验证故障被检测且修正行为通过,覆盖相关边界情况并记录残余不确定性)。对间歇性失败,需用预先声明的观察与停止规则比较受控条件,报告失败与试验次数及混杂因素。输出决策记录,包含违反的契约及其权威、复现与证据限制、因果机制、修正类别和声明到验证的证据。

限制与拒绝的捷径:不得为匹配实现而改预期、批量更新快照、删除不便用例、用 mock/stub、跳过、抑制警告、重试至绿或放松闸门来隐藏缺陷,也不得把覆盖率、任务映射、源码检查或未执行场景当作行为证明。使用时需加载 Python 开发标准并保留目标仓库支持的版本、配置与约定;可选插件未安装时应使用本文协议,不假设其存在。相关技能有 Analyze Test Failures、Comprehensive Test Review 和 dh:root-cause-tracing-process。