用途:为 A/B 测试与实验设计提供一套假设驱动的方法论,帮助团队验证想法而不是凭感觉判断。资料给出的是通用实验设计框架,未说明具体软件、平台或安装方式。
主要能力:
- 假设模板:在动手前先写下“如果为[某受众]做[具体改动],则[某指标]将[方向][幅度],因为[有证据的理由]”。要求包含具体改动、受众、指标与方向幅度、基于证据的原因。
- 实验设计五要素:一个主要指标(不是三个,其余为护栏指标);护栏指标(不得恶化的指标);样本量(上线前用样本量计算器,输入基线转化率、最小可检测效应、显著性95%、功效80%);时长(至少覆盖一个完整业务周期,通常1至2周,不少于7天);分析计划(启动前写好指标、阈值、胜负或无结论时的处理)。
- 常见错误:偷看结果(每天看并见显著就停,会抬高假阳性率);功效不足(用户太少导致无结论);一次测太多改动(无法归因,每次一个改动);缺少护栏(如删密码字段虽提升注册却破坏其他环节);事后讲故事(把无结论测试中的某年龄段“趋势”当结论,实为噪声)。
- 准则:先写假设与分析计划再搭建;到预定结束日期前不偷看;先算样本量;必须有护栏指标;每次只测一个主要改动;无结论也要记录学习,例如“N=5000仍无法检出效应”本身有用。
方法基于受控实验方法(Kohavi、Tang、Xu)。
限制:资料未提供具体工具、价格、平台或安装命令,也未说明适用行业与团队规模;实际使用时需结合自身基线数据计算样本量。