SuperAPI AI 工具集

absolute-deflake

测试与质量

查看项目

更新于 10-26 16:16

技能介绍

用途 Absolute Deflake 用于发现并修复“有时通过、有时失败”的不确定性测试(flaky tests),目标是移除不确定性的来源,而不是通过重试、跳过或 sleep 把问题藏起来。典型触发场景包括:CI 不稳定、某个测试随机失败、本地通过但 CI 失败(或反之)、约每 N 次运行失败一次、以及清理一批用 retry/skip 标记掩盖真实 flaky 的测试积压。它不适用于确定性失败的测试——那属于真实 bug 或回归,应走 /absolute work 或直接修复。

主要能力 该技能运行 references/health-engine.md 中共享引擎的 DETECT → SCAN → TRIAGE → FIX → VERIFY → REPORT 循环,并遵循其中的安全约定;自身文件只描述 flaky 测试特有的部分。检测强调“实证”:一个测试是否 flaky 不能凭他人一句话判断,而要用 preferences.health.deflakeRuns 作为重复运行默认次数 N(未配置则为 20)。不同生态的检测方式:Jest/Vitest 将测试套件运行 N 次并随机化顺序(--run 循环、--shuffle 或 testSequencer);pytest 使用 pytest-randomly 加 pytest --count=N(pytest-repeat),并可用 -p no:randomly 做 A/B 对比;Go 使用 go test -count=N -shuffle=on ./... 以及 -race。此外还会挖掘现有 retry/flaky/skip 注解、可访问的 CI 历史等信号,并分别在隔离运行与完整/并行运行下执行套件,因为顺序依赖和并发依赖的失败往往只在一侧暴露。最终为每个可疑测试记录失败率。

诊断与修复思路 文档列出常见根因及判断线索与修复方向:测试顺序/共享状态(单独通过、套件内失败)→ 隔离状态、测试间重置/清理;时间/时钟(临近午夜、DST 或负载下失败)→ 假定时器或注入时钟,不用真实 sleep;异步竞争/缺少 await(并行或慢 CI 下失败)→ await 实际条件而非固定超时;随机性(约 X% 无规律失败)→ 为 RNG 设种子;网络/外部 I/O(离线或慢链路上失败)→ 在边界处 mock/stub;无序集合(map/set 迭代顺序导致失败)→ 断言前排序;资源泄漏/端口复用(重复或并行运行时失败)→ 使用唯一资源并清理。

风险分级与验证 TRIAGE 阶段按波次排序:第 1 波是原因清晰且孤立(种子、await、假时钟、排序),立即修复;第 2 波是共享状态/顺序问题,需要 fixture 重构,本轮逐个测试修复;第 3 波指向真实产品竞争条件而非测试本身,需标记并上报,可能是代码里的真实 bug。文档特别提醒:不要把测试“稳定化”成掩盖真实并发 bug。修复根因后必须证明:多次重跑(并打乱顺序/并行/加 -race),一次绿不算完成,N 次随机运行全绿才算;修复后移除此前掩盖问题的 retry/skip/flaky 注解;再跑完整套件确认没有影响邻近测试。

常见陷阱与配套命令 禁止把重试/跳过当作修复;禁止用 sleep 躲避竞争;禁止以一次通过判定完成;禁止只稳定断言而忽略真实的产品竞争;不能只测隔离或只测套件,要两个维度都跑。配套命令:/absolute upgrade(flaky 套件会让升级验证不可靠,应先 deflake)、/absolute debt(flaky 注解属于测试债务,本技能从根上清除)、/absolute work(当 flake 是真实产品代码竞争、需要真正设计时使用)。

限制 资料的安装命令、具体依赖版本、支持平台与收费信息暂未提供。