用途
实验设计（Experiment Design）文档定义运行严谨 A/B 测试或受控实验所需的全部参数。它确保团队就测试内容、成功衡量方式和得出结论前需要运行多久达成一致。好的实验设计能避免常见陷阱：样本量不足的测试、不清晰的判定标准，以及基于噪声而非信号做出决策。
何时使用
- 在启动 A/B 测试以验证产品改动之前
- 在测试需要量化验证的假设时
- 在方案设计之后、全面上线之前验证假设
- 当利益相关方需要数据驱动的证据来支持决策时
- 用于建立实验与学习的文化
何时不使用
- 假设本身尚未表述清楚——改用 define-hypothesis；本技能是为已存在的假设设计测试
- 正在分析已完成的实验——改用 measure-experiment-results
- 需要用于衡量实验的事件埋点——改用 measure-instrumentation-spec
- 收集的是意见而非运行受控测试——改用 measure-survey-analysis
使用说明
当被要求设计实验时，遵循以下步骤：
- 表述假设：用清晰、可测试的格式写出假设：“我们相信针对 [用户] 的 [改动] 将带来 [结果]，以 [指标] 衡量。”每次实验只测试一个假设；如需测试多个内容，应运行多个实验。
- 定义变体：充分详细地描述对照组（当前体验）和实验组（新体验）。包含截图、草图或精确描述，使任何人都能理解用户将看到什么。
- 选择主指标与辅助指标：选择一个决定成功或失败的主指标。添加 2–3 个辅助指标以理解更广泛影响。加入护栏指标以捕捉非预期的负面影响。
- 计算样本量：确定每个变体需要多少用户，才能在统计显著的前提下检测出最小可检测效应（MDE）。指定显著性水平（通常为 0.05）和统计功效（通常为 0.80）。
- 估算时长：根据样本量和可用流量，计算实验需要运行多久。考虑周期性规律——如果行为随日期变化，避免在周中结束实验。
- 定义定向与分配：说明哪些用户有资格进入实验，以及流量如何在变体间拆分。记录任何排除项（例如员工、特定分群）。
- 设定成功标准：预先定义什么算成功、失败或无定论。这可以防止事后合理化调整和移动目标线。
- 记录风险与缓解措施：识别可能出问题的地方，以及你将如何检测和应对。包含监控计划和回滚标准。
输出格式
使用 references/TEMPLATE.md 中的模板组织输出。完整的设计会填写模板的每一个部分：概述；假设；背景；变体；指标；样本量与时长；受众定向；成功标准；风险与缓解；实施说明；参考资料。
质量检查清单
在定稿前，确认：
- 假设是可证伪的且具体
- 只定义了一个主指标
- 样本量计算附有假设说明
- 时长考虑了流量规律和统计要求
- 成功标准在实验开始前已定义
- 护栏指标可防止非预期伤害
示例
完整示例见 references/EXAMPLE.md。