用途:当需要调查间歇性测试失败、识别不稳定失败模式、收集证据、推断候选原因并给出稳定化行动时使用。也可用于评审已有的计划、结果或证据集,产出可落地的改进建议;在上下文不完整时,仍可先做有边界的第一轮分析。
主要能力:审计输入并区分已确认事实、工作假设与待解问题;按风险与证据强度排序;覆盖失败率、竞态、共享状态、数据污染、外部依赖、资源压力、随机种子、隔离差异等维度;输出可执行、可被他人独立评审的产物。
使用方式:需阅读并遵循 prompts/flaky-test-analysis.md,其中包含输入契约、执行规则、最低覆盖范围和输出顺序。默认输出 Markdown;当用户要求表格、CSV、JSON 或工单字段时,保留风险、证据、优先级与边界信息;面向机器消费的输出需先确认 schema、枚举与必填字段。评估或回归时读取 evals/eval.yaml 及相关 evals/cases/ 用例;仅在 references/、examples/、scripts/ 或 output-formats.md 存在且任务需要时加载。补充上下文时只加入会改变决策的信息:范围、环境、版本、约束、证据与成功标准。
适用场景:测试运行历史分析、发布阻塞排查、不稳定用例的隔离与治理、证据驱动的根因假设验证。
限制与约束:不得用盲目重试掩盖失败;隔离(quarantine)必须有负责人和退出标准;根因结论需要可复现证据;不得编造系统行为、字段、数据、指标或根因;重要结论需关联证据,无支撑的结论应标为假设并给出验证方法;优先级需用业务影响、可能性或可检测性解释;不得执行未授权的生产写入或破坏性操作。若信息缺失,应交付有边界的第一轮分析并说明哪些结论仍无支撑。