SuperAPI AI 工具集

rea-ci-tests-audit

测试与质量

查看项目

更新于 11-10 16:20

技能介绍

REA CI 与测试审计技能旨在帮助审计 CI 工作流和测试套件,判断哪些检查仍能捕获真实回归,以及哪些成本可以在不失去保护的前提下移除。最终结果可以是已验证的修复、有证据支持的推荐,或明确决定停止。

用途 该技能适用于测试套件或工作流调查以及效率评估。审计时应遵循代码库中的 AGENTS.md、测试指南和贡献规则,使用其当前命令和固定工具链,而不是依赖早期审计中记忆的命令。调查本身不授权编辑;该技能也不授予发布 issue、推送或合并的权限。审计笔记和原始结果应保存在受跟踪目录之外,通常放在任务专用的 /tmp 目录中。

建立可执行基线 需要最新 main 时按用户要求获取。固定基线 SHA 和所检查的工作流修订;在更改或比较代码时使用隔离 worktree。不要修改其他任务的检出。记录脏改动以及确切命令、工具链、主机、所选测试、插桩和前置条件。旧运行是其执行修订的证据,即使 main 已前进。

追踪工作流触发、变更路径选择、作业依赖、可复用操作、包脚本、测试发现、产物生产者和报告门禁,直到实际执行的命令。包括导入图中缺失的脚本、生成数据、运行时注册和子进程边界。检查正向和负向选择路径:必需文件必须在每个预期测试配置中发现一次;有意的平台/配置重复是独立的覆盖。缺失的显式测试或缺失的必需报告不得变绿。可选通道可以跳过,但保留其声明的先决条件。

利用现有计时和失败产物选择可疑家族。运行相关检查以建立基线;仅在广泛 CI 诊断或聚焦检查无法解决不确定性时,才保留完整本地套件。不要在每次文档编辑后重建或重跑未更改的完整套件。

证明失败或保护 对于每个候选,陈述预期可观察行为及其所有者,然后针对生产行为构造最小复现。在决定修复位置之前,追踪生产者及受影响的消费者。

对于漂移,将 fixture 与当前准入要求、协议回复、命名契约、工具版本和实际公共入口点进行比较。看似合理的 mock 可能在其测试声称覆盖的行为之前就失败。搜索整个受影响的 fixture 家族,包括其他版本字符串。保留有意格式错误的 fixture 并测试其预期拒绝。

对于可疑的绿色测试,在隔离副本中扰动相关行为或注入受控失败。验证现有断言或门禁能否检测到它。测试可能只是重复其 mock、导入废弃代码或隐藏子进程/检查器失败。实验后恢复变异。

对于共享设置或修剪,将不同断言映射到其保留场景。保留格式错误输入、取消、清理失败、权限、容量、身份和有意义的并发交互。跳过用例或削弱其判据的更快运行不是改进。

对于提供者覆盖,区分假生产者、边界和实际引擎证据。检查命名跳过和先决条件;fixture 不能确立真实 Ghidra、LLDB、浏览器或其他提供者的行为。

将发现分类为已复现缺陷、有支持的成本、假设或不可用证据。记录基线命令、观察到的输出/退出状态、预期结果、受影响范围和竞争解释。main 上的失败可能是预先存在的;这本身并不使其与 CI 审计无关。使用执行修订和干净基线归因 PR 失败,而不仅仅是它们与先前失败的相似性。仅针对特定瞬态解释进行重试;保留原始失败,并在重复不增加证据时停止。通过的重试不能确立根因或修复。

评估效率而不失去门禁 在调查缓慢、缓存、运行器等待、共享产物或日志噪声时,阅读测量和 CI 检查。在声称加速之前比较等效的已完成工作。区分设置/构建时间、测试执行、覆盖率插桩、依赖等待和运行器调度;说明哪些成本仍未测量。

优先移除已证实的重复准备、复用不可变设置并减少重复子进程工作,然后再缩小正确性覆盖。在生命周期或并发是判据的地方保留独立会话。保持实时测试新鲜;缓存的先前通过不能验证当前主机、已安装提供者内容、权限或外部状态。

在范围内修复、验证和交接 如果实现已获授权,在所属边界进行最小结构更改,并添加在基线上因正确原因失败的回归。重新测试受影响的消费者和有意义的负路径;当缓存失效或发现机制更改时验证它们。在更改其配置或命令之前阅读已安装的 Turbo 文档。

在授权合并前,运行仓库适用的检查并检查完整的当前 head CI 结果。保留必需的覆盖和发现门禁。不要为了仅使 CI 变绿而抑制失败、添加笼统重试、提高超时或删除不同断言。对这些控件的更改需要其自身展示的理由和保留的失败检测。

报告每个已确认问题,附确切修订、复现、后果、建议更正和验证限制。报告性能时附工作负载和测量值,而不仅仅是百分比。按要求使用英文 issue/PR 记录;遵循用户的分配、提交身份、审查和合并偏好,不要假设其他用户也如此。仅在授权该生命周期时打开 ready-for-review PR。解决必要的审查发现,并在合并后对照测试树检查最终 main。

当授权工作已验证、剩余收益未证明或进一步更改会以正确性换取推测速度时停止。列出真实不确定性,不要将其转化为额外的优化轮次。