Experiment Designer 用于设计、排定并评估产品实验，以清晰的假设支撑可辩护的决策。适用于以下场景：A/B 测试与多变量实验规划；撰写假设并定义成功标准；样本量与最小可检测效应（MDE）规划；使用 ICE 评分对实验排优先级；阅读统计输出以支持产品决策。
核心工作流
- 用 If/Then/Because 格式写假设：
- If we change [intervention]
- Then [metric] will change by [expected direction/magnitude]
- Because [behavioral mechanism]
- 在跑测试前定义指标：
- Primary metric：单一决策指标
- Guardrail metrics：质量/风险保护
- Secondary metrics：仅用于诊断
- 估算样本量：
- 基线转化率或基线均值
- 最小可检测效应（MDE）
- 显著性水平（alpha）和统计功效（power）
使用命令：
python3 scripts/sample_size_calculator.py --baseline-rate 0.12 --mde 0.02 --mde-type absolute
- 用 ICE 排优先级：
- Impact：潜在上行空间
- Confidence：证据质量
- Ease：成本/速度/复杂度
- ICE Score = (Impact * Confidence * Ease) / 10
- 带停止规则上线：
- 提前决定固定样本量或固定时长
- 避免在没有合适方法的情况下反复窥探数据
- 持续监控护栏指标
- 解读结果：
- 统计显著性不等于业务显著性
- 将点估计 + 置信区间与决策阈值比较
- 调查新奇效应和人群异质性
假设质量检查清单
- 包含明确的干预和受众
- 指明可测量的指标变化
- 陈述合理的因果原因
- 包含预期的最小效应
- 定义失败条件
常见实验陷阱
- 功效不足的测试导致假阴性
- 同时运行过多变更而未做隔离
- 测试中途更改定向或实现
- 因随机波动而提前停止
- 忽视样本比例不匹配和埋点漂移
- 仅凭 p-value 而不结合效应量就宣布成功
统计解读护栏
- p-value < alpha 表示有反对原假设的证据，并不保证为真。
- 置信区间跨越零/无效应，意味着方向性结论不确定。
- 即使显著，宽区间也意味着精度低。
- 使用与业务影响挂钩的实际显著性阈值。
参见：
- references/experiment-playbook.md
- references/statistics-reference.md
工具
scripts/sample_size_calculator.py
根据以下输入计算所需样本量（每个变体及总量）：
- 基线率
- MDE（绝对值或相对值）
- 显著性水平（alpha）
- 统计功效
示例：
python3 scripts/sample_size_calculator.py
--baseline-rate 0.10
--mde 0.015
--mde-type absolute
--alpha 0.05
--power 0.8