用途
measure-experiment-results 是一个用于记录已完成实验或 A/B 测试结果的技能。它把一次假设检验的统计结果、分群分析、经验教训和明确建议整理成文档,使单次实验转化为可复用的组织知识,帮助改进后续决策。
主要能力
- 总结实验背景:测试内容、运行时间、流量规模,并链接原始实验设计文档(如存在)。
- 重述假设:说明原本预期会发生什么以及原因,为结果解读提供框架。
- 呈现主要结果:清晰展示主要指标在对照组与实验组中的取值,包含统计显著性(p 值)、置信区间和样本量,并如实说明结论是否确定。
- 分析次要指标:报告护栏指标,确认未造成意外损害;标注出现意外变化的次要指标,无论正向还是负向。
- 分群分析:按平台、用户任期、套餐类型等维度检查差异化效果,避免总体结果掩盖分群层面的重要洞察。
- 提炼经验:记录数字之外的学习,包括意外发现、新问题和产品假设启示;负面结果同样是有价值的经验。
- 给出建议:明确应上线、迭代还是终止,并用证据支撑;若决策存在权衡,需说明取舍。
- 定义后续步骤:说明接下来要做的工程工作、后续实验、需持续监控的指标或需更新的文档。
使用方式
当被要求记录实验结果时,按上述步骤执行,并使用 references/TEMPLATE.md 中的模板组织输出。完整的读出一份报告应填满模板的每个部分:摘要、假设回顾、结果、分群分析、可视化、经验、建议、后续步骤和附录。定稿前需核对质量清单:统计方法与显著性是否明确说明;是否包含置信区间(而不仅是 p 值);是否检查分群差异化效果;是否报告次要/护栏指标;经验是否超越数字本身;建议是否清晰可执行;负面或不确定结果是否如实报告。references/EXAMPLE.md 提供了完整示例。
适用场景
- A/B 测试或实验达到统计显著性之后。
- 实验因任何原因提前结束时。
- 需要向未参与实验的利益相关者沟通发现时。
- 在决定上线、迭代还是终止某功能的过程中。
- 需要建立经验库以指导未来实验时。
限制与不适用场景
- 实验尚未设计或运行:应使用 measure-experiment-design。
- 结果需要做方向性决策:应使用 iterate-pivot-decision;本技能只报告证据,由后者做决定。
- 希望把可迁移经验存入组织知识库:应随后使用 iterate-lessons-log。
- 数据是问卷回答而非受控实验:应使用 measure-survey-analysis。
补充说明
该技能的具体收费、价格、平台支持情况、实际效果等事实暂未提供。