SuperAPI AI 工具集

qa-metrics

测试与质量

查看项目

更新于 10-15 04:48

技能介绍

qa-metrics 是一套关于 QA 指标定义、跟踪与行动的实践指南,属于 petrkindlmann/qa-skills 技能集。其核心主张是:指标必须驱动行动,而不只是做成仪表盘;要同时跟踪领先指标与滞后指标,并对领先指标采取行动;关注趋势而非单点快照;每个指标都需要有目标值和负责人;避免虚荣指标。

用途 该技能用于帮助团队建立质量度量体系,回答“该跟踪哪些指标”“目标定多少”“指标变红时做什么”等问题。它先通过一组发现性问题了解现状(当前跟踪哪些指标、测试数据在哪里、是否已有仪表盘、CI 工具是什么)、干系人(工程、产品、领导层、客户各自关心什么、谁负责哪个指标)、质量问题(回归、慢流水线、不稳定测试、覆盖缺口、事故)以及目标(团队眼中“健康的测试套件”是什么、是否有合规要求、对指标基础设施的投入意愿)。

主要能力 技能按类别给出每个指标的定义、公式、推荐目标、重要性说明和变红时的行动:

测试覆盖率指标(领先):代码覆盖率百分比(行覆盖率、分支覆盖率),目标为应用代码行覆盖 70-85%、分支 60-75%、关键路径 90%+;需求覆盖率百分比,P0/P1 功能 100%、P2 80%+;风险覆盖率百分比,高风险区域 95%+。文档提醒覆盖率衡量的是执行而非断言质量,建议配合变异测试(StrykerJS v9.6+、mutmut)使用。

测试健康指标(领先):不稳定率(flakiness rate),可接受 <2%、警告 2-5%、严重 >5%;7 天滚动通过率,健康 >95%、警告 90-95%、损坏 <90%;被禁用和跳过的测试数量,目标趋近于零;测试套件时长,单元 <5 分钟、集成 <10 分钟、E2E <15 分钟、完整流水线 <30 分钟。

缺陷指标(滞后):缺陷逃逸率,优秀 <5%、可接受 5-10%、需改进 10-20%、严重 >20%;平均解决时间 MTTR,P0 <4 小时、P1 <24 小时、P2 <1 个冲刺、P3 <2 个冲刺;缺陷密度,行业基准为每 KLOC 1-10 个缺陷;严重度分布,健康分布为 P0 <5%、P1 10-15%、P2 40-50%、P3 30-40%。

执行指标(领先):CI 流水线时长(Lint <2 分钟、单元 <5 分钟、集成 <10 分钟、E2E <15 分钟、完整 <30 分钟);每次运行的 CI 成本;并行效率,目标 >80%。

过程指标(领先与滞后混合):自动化率,回归 90%+、冒烟 100%、探索性 0%、整体 70-85%;测试创建速度,每个用户故事至少 3-5 个自动化测试;自动化 ROI,含手动成本与自动化成本的计算公式和示例。

工程效能指标(DORA):变更前置时间(<1 天)、部署频率(每天多次)、失败部署恢复时间(<1 小时)、变更失败率(约 5%)、返工率。文档说明 DORA 2025 将返工率正式列为第五个指标,并重新分组为吞吐量(前三项)与不稳定性(变更失败率 + 返工率),可靠性作为独立维度跟踪;DORA 2025 还取消了 Elite/High/Medium/Low 命名层级,改用百分位分布和七种团队原型。

使用方式 技能建议先检查 .agents/qa-project-context.md,若存在则以其为基础并跳过已回答的问题。落地路径为:从 3 个指标开始(代码覆盖率、不稳定率、缺陷逃逸率);当 CI 成本或速度成为痛点时加入执行指标;当团队超过 5 名工程师时加入过程指标;当质量成为产品差异化或合规要求时加入完整指标集。文档还提供按公司阶段(初创 seed-Series A、成长 Series B-C、企业)设定的目标表,以及测试影响分析(TIA)作为杠杆的跟踪方式。

适用场景 适用于需要建立或改进质量度量体系的工程团队,包括:尚无指标不知从何开始、覆盖率很高但仍有缺陷逃逸、测试不稳定导致开发者忽略 CI、流水线慢反馈滞后、需要向干系人论证自动化投入、为团队阶段选择目标、领导层需要交付与质量兼顾的视图等场景。

限制 文档明确指出若干反模式:把覆盖率当作质量证明、指标脱离上下文、为达标而刷指标、跟踪过多指标、只测量不行动。同时提醒覆盖率衡量执行而非验证,需配合变异测试;不稳定测试超过 30 天应删除或重写;跳过测试超过 2 个冲刺应修复或删除。关于具体工具的价格、平台支持范围等细节,资料中未提供完整信息。