SuperAPI AI 工具集

analyze-test-failures

测试与质量

查看项目

更新于 10-15 22:40

技能介绍

用途:针对给定的每个 pytest 失败,按 Test Failure Mindset 的调查协议逐一分析,并复用已有证据记录,避免重复已完成调查。

主要能力:阅读完整相关测试、fixture、setup/cleanup、堆栈跟踪与产品路径;在允许时保留失败版本与条件并安全复现;将产品与测试观察追溯到最早的契约分歧点。对每个候选解释找出可区分性观察,区分已观察事实与未验证推断,并确认哪条需求决定预期行为——仅凭数学、库或 API 惯例不能确立本产品契约。

缺陷分类:将受支持的缺陷分别归为产品实现、接口/架构、测试预言(oracle)或测试框架/CI,可同时存在多类。缺少权威依据时报告意图决策;缺少执行时报告未验证行为,而非默默选边。示例:divide(10, 0) 返回哨兵值还是抛异常,无法从操作名裁定;当前已批准的哨兵契约使抛异常实现错误,已批准的错误契约使哨兵预期错误;无权威依据则报告歧义及所需证据或决策。

输出结构:TEST / REVISION / FAILURE;CONTRACT / AUTHORITY / INVARIANTS;EXPECTED / OBSERVED / REPRODUCTION LIMITS;EVIDENCE CHAIN / FIRST DIVERGENCE;SUPPORTED CAUSE / UNVERIFIED HYPOTHESES;CORRECTION CATEGORY / RATIONALE;PROPOSED CHANGE / PRESERVED BEHAVIOR;VALIDATION(原始故障→预期失败,修正行为→成功);REMAINING UNCERTAINTY / NEXT OBSERVATION OR INTENT DECISION。

限制:不得从断言不匹配臆造原因;修正建议须与实际已做工作区分;修改测试时须说明权威理由并展示相关故障敏感性,收集或 setup 错误不构成回归保护。更广泛评估请用 Comprehensive Test Review。