A/B Test Analyzer 用于比较两个营销活动变体、判断统计显著性、宣布胜出者，并推荐下一轮测试。
用途 它面向 A/B 分流测试结果分析场景，帮助用户在同一套指标体系中对比变体 A 与变体 B 的表现，避免仅凭单层指标或直觉下结论。
所需输入
- 变体 A 指标：发送数、打开数、回复数、感兴趣回复数；
- 变体 B 指标：同上；
- 两个变体之间的差异（即被测试的变量）；
- 每个变体至少 50 次发送方可进入分析。
指标层级 分析按以下顺序进行，每一层指向不同的问题：
- 打开率：主题行或发件人名称问题；
- 回复率：文案或定向问题；
- 感兴趣率：报价或切入角度问题；
- 预约会议率：CTA 或资格筛选问题。 测试只对变体产生差异的那一层具有结论性，不能把感兴趣率的差异归因于主题行。
统计显著性指引
- 每个变体发送量低于 50：不确定，仅记录，不据此行动；
- 每个变体 50–100 次发送：方向性，视为信号而非证据；
- 每个变体 100 次以上：具有统计意义，可据此行动。
处理流程
- 计算两个变体的全部四项比率；
- 识别变体在哪一层产生差异；
- 根据发送量确定统计显著性；
- 宣布胜出者（低于阈值则判定为“不确定”）；
- 建议下一轮测试内容，而非重复同一测试。
输出格式（由资料给出） A/B test: [what was tested] Date: [date]
VARIANT A — [description of variant] Sends: [n] | Opens: [n] ([%]) | Replies: [n] ([%]) | Interested: [n] ([%])
VARIANT B — [description of variant] Sends: [n] | Opens: [n] ([%]) | Replies: [n] ([%]) | Interested: [n] ([%])
ANALYSIS Divergence layer: [opens / replies / interest / meetings] Delta: [A vs B difference at divergence layer] Statistical significance: [Conclusive / Directional / Inconclusive] — [reason]
WINNER: [Variant A / Variant B / Inconclusive] Why: [one-line explanation]
NEXT TEST Variable to test next: [what to change] Hypothesis: [what you expect to happen and why]
限制与注意事项
- 每次只测试一个变量；如果同时改动主题行和文案，就无法归因结果；
- 不要仅凭打开率宣布胜出者，打开率可能被不带来转化的主题行技巧所操纵；
- 如果两个变体都处于“淘汰区”（感兴趣率低于 17%），问题在于假设而非变体；
- 记录每次测试结果，跨测试的模式比任何单次测试更有价值。