用途
test-report 是一个在输出测试结论、给出上线决策时使用的技能。它适用于版本发布报告、阶段总结与缺陷分析场景,面向 PM、Tech Lead 与业务方给出"是否能放行"的结论。其方法参考来源为 ISTQB Test Summary Report (IEEE 829)、Google Test Reporting Best Practices、SonarQube Quality Reports。
适用场景
- 版本发布前的测试总结
- 阶段性测试报告(每周 / 每迭代)
- 缺陷分布分析
- 上线决策依据
- 给 PM / Tech Lead / 业务方看的"是否能放行"结论
核心原则
- 报告是给决策者看的:首页必须有"建议是否放行"。
- 数字 + 趋势 + 结论:不只是列数字,要给意见。
- 风险透明:"已知问题"必须明示,不藏。
- 一页纸总结 + 详细附录:忙人看一页,关心人看附录。
- 可对比:与上版本 / 基线对比。
- 数据不撒谎:覆盖率高 ≠ 质量好;覆盖率是"测试了多少",不是"测对了多少"。
报告结构(5 段式)
- 执行摘要(1 段):本次测试(范围)、执行(X 条用例 / Y 小时)、结论(建议放行 / 有条件放行 / 不建议放行)、关键风险(1-2 条)。
- 测试范围:必测 100%(X/X)、选测 80%(Y/Z)、不测(列表 + 原因)。
- 缺陷分析:总数 X 个、严重度分布(S0/S1/S2/S3)、修复率 X%、待修(ID 列表)。
- 覆盖度:用例覆盖 100% 验收标准、代码覆盖(% 如有)、风险覆盖(C 级 100% / H 级 100% / M 级 80%)、性能基线(达标 / 退化 X%)。
- 放行建议:必测用例 100% 通过、高风险 Bug = 0、性能 SLO 达标、验收 UAT 通过,据此给出放行 / 不放行建议。
关键指标
用例指标:计划用例数、执行用例数、通过、失败、跳过、执行率(执行/计划)、通过率(通过/(通过+失败))。
缺陷指标:新增 Bug、修复 Bug、关闭 Bug、未修复 Bug(按 S0/S1/S2 分级)、平均修复时间(MTTR)、缺陷逃逸率(生产 / 测试)。
覆盖率指标:验收标准覆盖、代码行覆盖、分支覆盖、风险覆盖(C 级 / H 级 / M 级 / L 级)。
性能指标(如有):P99 响应时间(实测 vs SLO)、QPS(实测 vs 目标)、错误率(实测 vs SLO)、与上版本对比(退化 / 持平 / 改善)。
缺陷分布分析
可从以下维度展开:按模块(如订单、支付、用户,识别重点模块);按发现阶段(单元测试、集成测试、E2E、探索式、生产,判断缺陷发现时机是否合理);按根因(需求理解错、设计缺陷、编码错误、配置错、数据问题、第三方);按严重度(S0-S3 分布,判断严重 Bug 占比)。此外提供本版本与上版本的趋势对比表格,涵盖 Bug 总数、S0/S1 数、修复时间、用例数、通过率、性能 P99 等指标。
报告自动化
推荐自动化项:用例执行结果(CI 集成,如 Allure / TestRail)、代码覆盖率(自动收集,如 JaCoCo / Coverage.py)、性能数据(自动从压测工具拉取)、Bug 趋势(从跟踪系统 API 获取)。
人工撰写项:风险结论、放行建议、已知问题影响分析、改进建议。
一页纸总结模板
模板包含:一句话结论(建议放行 / 有条件放行 / 不建议放行)、关键数据(用例通过率、Bug 分级、性能、UAT)、关键风险、已知问题(业务方已知悉)、放行 Checklist(必测通过、S0/S1 = 0、性能 SLO 达标、UAT 通过、监控告警就绪)。
工作流程
- 收集数据(用例结果、缺陷数据、性能数据、覆盖率,自动)。
- 分析(趋势对比、缺陷分布、风险评估)。
- 撰写报告(一页纸总结、详细附录)。
- 评审(与 PM / Tech Lead 评审结论)。
- 发布(项目群 / 邮件 / Wiki)。
- 决策(放行 / 修复 / 推迟)。
- 沉淀(经验进 field-journal,缺陷模式更新 pitfalls)。
质量自检
清单包括:一句话结论清晰、数据有上下文(对比基线)、缺陷按多个维度分布、风险透明、放行 Checklist 明确、性能数据完整(如有)、改进建议具体可执行、自动化数据 + 人工分析结合、报告可读(图表 / 表格)、决策者看 1 分钟能决定。
常见坑
只列数字不给结论、把覆盖率当作质量、隐藏已知问题、不与基线对比、缺陷只看总数、报告太长或太短、不做趋势分析、不沉淀经验、格式不对路(例如用 Markdown 给只看 Excel 的对象)。
配套模板与协作
配套模板:templates/test-report-template.md(完整测试报告:一页纸总结 + 详细附录 + 缺陷分布 + 趋势对比 + 放行 Checklist)。
上游协作:test-strategy(测试范围基线)、test-case-design(用例数据)、bug-reporting(缺陷数据)、regression-testing(回归结果)、performance-testing(性能数据)、acceptance-testing(UAT 结论)。
下游协作:quality-gate(报告作为放行依据)、项目经理工作流(进度纳入项目报告)、技术文档工作流(已知问题进发布说明)、field-journal(经验沉淀)。