用途:这是一份 A/B 测试设置的结构化指南,目标是在编写任何代码前,确保每次 A/B 测试有效、严谨且安全,防止数据偷看、强制统计功效,并拦截无效假设。
主要能力与流程:包含明确的范围与前置条件(清晰用户问题、分析数据源、大致流量估算);假设质量检查清单(观察或证据、单一具体改动、方向性预期、明确受众、可衡量成功标准);假设锁定硬关卡(须提交目标受众、主指标、预期效应方向、最小可检测效应 MDE,并明确询问是否为最终承诺假设,未确认不得继续);假设与有效性检查(流量稳定性、用户独立性、指标可靠性、随机化质量、季节性与活动等外部因素,弱或违规时警告并建议推迟或重设计)。
测试类型选择默认 A/B(单一改动、两个变体),另有 A/B/n、多变量测试 MVT、分流 URL 测试,需更高流量或结构大改时才用。指标定义区分主指标(必填、与假设直接相关、上线前冻结)、次要指标(提供背景,不得覆盖主指标)、护栏指标(不得恶化,显著负面触发停止)。样本量与时长需预先定义基线率、MDE、显著性水平(通常 95%)、统计功效(通常 80%),估算每变体样本量与测试时长。执行就绪硬停止:假设锁定、主指标冻结、样本量已算、时长已定、护栏已设、追踪已验证,缺一不可。
测试期间:可监控技术健康、记录外部因素;不得因结果好看提前停止、中途改变体、新增流量来源或重定义成功标准。分析纪律:不得外推到被测人群之外、不得超出所测改动声称因果、不得无视护栏失败,区分统计显著与业务判断。结果处理分别为显著正向考虑推广、显著负向拒绝并记录、不确定考虑加流量或更大改动、护栏失败即使主指标获胜也不上线。
限制与安全:每次测试一个假设、一个主指标,上线前承诺,不偷看,学习优先于获胜。基线率未知且无法估算、流量不足以检测 MDE、主指标未定义、多变量改动缺乏设计、假设无法清晰表述时,应拒绝推进并说明原因与建议下一步。所有测试须记录假设、变体、指标、样本量与实际达成、结果、决定、收获与后续想法,并存于共享可检索位置。
分类:本工具面向产品实验设计与指标管理,属于办公与效率范畴。