用途:比较两个营销活动变体(A/B 测试),判断统计显著性、宣布胜出者,并推荐下一次测试。
所需输入:变体 A 与 B 的指标(发送数、打开数、回复数、感兴趣回复数);两个变体之间的差异变量;每个变体至少 50 次发送。
指标层级:按打开率(主题行或发件人名称问题)、回复率(文案或定位问题)、感兴趣率(报价或角度问题)、预约会议率(CTA 或资格问题)的顺序分析。测试只对变体出现差异的层级具有结论性,不能把感兴趣率差异归因于主题行。
统计显著性参考:每个变体少于 50 次发送为不确定,仅记录不行动;50–100 次为方向性信号,非证明;100 次以上具有统计意义,可据此行动。
流程:计算两个变体的四项比率;识别差异出现的层级;根据发送量判断统计显著性;宣布胜出者(低于阈值则为不确定);推荐下一次测试内容,而非重复同一测试。
输出格式包含测试内容、日期、两个变体的指标、分析(差异层级、差值、显著性及原因)、胜出者及原因、下一次测试的变量与假设。
限制与注意事项:一次只测试一个变量,同时改主题行和文案无法归因;不要仅凭打开率宣布胜出者;若两个变体都处于低感兴趣率(低于 17%)区间,问题在假设而非变体;应记录每次测试结果,跨测试的模式比单次测试更有价值。