SuperAPI AI 工具集

test-reliability

测试与质量

查看项目

更新于 10-16 02:37

技能介绍

用途:治理测试套件自身的稳定性,处理单条用例时好时坏、重跑变绿、夜间全量靠重试撑绿、发布卡点被 flaky 疲劳轰炸等问题。定位为套件级“判定→隔离→根因→门禁→健康度”闭环,不替代任何单次执行流程。

主要能力:一是 flaky 判定与根因四分类,首跑失败原样重跑通过判为 first-run-flaky,不算稳定通过;用复跑矩阵(原样/隔离/干净环境/带序重跑)取证,归入 S1 时序等待不足、S2 共享状态与测试间依赖、S3 环境与第三方抖动、S4 并发与资源竞态。二是隔离与短期处置,用 test.fixme 或等价 quarantine 标记,隔离必须可见并登记,跨轮追踪,≥3 轮升级修根因。三是根因修复模式,按四分类套用修复模式库,修复后按原矩阵复验稳定性。四是重试策略与门禁语义,重试绿不等于修复,本地零重试、CI 至多重试 1 次,禁止调大 retries 或超时变绿;发布证据须声明首次通过率、重试救回数、隔离数。五是健康度报告与沉淀,输出《可靠性报告_{套件}_{日期}.md》,含 flaky_rate、quarantined_count、retry_pass_rate、repeat_fail_count 等指标,并沉淀判定结论。

使用方式:输入失败与翻灯历史、套件清单与运行统计;项目存在 .qa/ 时先读其 flaky-tests 主题。每条 flaky 记录须六字段齐备(用例/判定/根因类/证据/处置/状态),判定必须引用复跑矩阵结果,重试结论须区分 clean_passes 与 retry_passes。

适用场景:用户询问某用例为何时好时坏、是否算 flaky、重跑绿是否算修好;需要裁决重试策略或制定隔离门禁;需要产出套件健康度或发布卡点的可靠性证据;分流表 D 类条目跨轮累积需根因分类与治理排期。

限制:不处理一次执行中的单条失败即时处理,不处理一轮执行失败≥3 条的批量定性分流,不处理已确认 Bug 的根因定位与修复建议,不写测试用例,不做回归范围决策,不产出单次执行报告。资料未提供具体安装命令、收费与平台信息。