SuperAPI AI 工具集

triage-flaky-test

测试与质量

查看项目

更新于 10-15 19:49

技能介绍

用途:针对某个具体的不稳定测试进行排查,获取其历史、失败模式与分类,并给出修复、隔离或上报的建议。依赖 dd-pup 技能(需安装并认证 pup CLI)。

主要能力:先确定后端(MCP 或 pup);按测试名与仓库查询不稳定测试详情,取 fingerprint_fqn、flaky_state、失败率、flaky_category、codeowners、累计耗时等;检索近 7 天失败历史与错误堆栈;用流水线 ID 聚合统计影响范围;据分类与错误给出修复模式或隔离建议;最终产出 Triage Brief 并按阈值决定动作。

使用方式:输入完全限定测试名与仓库(可由 git remote get-url origin 推导,仓库 ID 需小写)。优先用 fingerprint_fqn 查询,否则用名称+套件+仓库降级查询。pup 模式命令如 pup cicd flaky-tests search --query "fingerprint_fqn:<fqn>" --sort="-last_flaked" --limit 5。排序值以 - 开头需用 = 语法。隔离需用户明确批准且有 fingerprint_fqn,写入用 update_datadog_flaky_test_states(new_state: quarantined),撤销改 active。

适用场景:CI 中出现不稳定测试需要定位根因、评估影响并决定处理方式时。

限制:禁止用超时、sleep、放宽断言等掩盖手段;无法确认根因或类别未知时应走隔离;缺 fingerprint_fqn 时无法写入。若 MCP 与 pup 均不可用则停止;401/403 需刷新认证。其余细节暂未提供。