A/B Testing Framework 是一套用于设计、运行和分析转化实验的方法论，强调统计严谨性。它本身以流程、公式和规则文档的形式提供，用于指导实验从提出假设到做出决策的全过程。
一、用途 该框架用于 A/B 测试和多变量测试（multivariate testing），帮助使用者规范实验设计、确定运行时长、避免常见统计错误，并对结果做出可执行的判断。它属于营销转化优化类技能，常与 CRO 审计、GA4 分析和文案框架配合使用。
二、主要能力
- 假设撰写：提供模板“如果我们[改变 X]，那么[指标 Y]将[增加/减少][Z%]，因为[原因]”。文档给出正例：将 CTA 从 “Get Started” 改为 “Start Free Trial”，预期注册率提升 15%，因为降低了对费用的不确定性；反例：改变按钮颜色，转化会改善（无推理、无预期幅度）。
- 样本量计算：给出每组所需样本量公式：16 * (p * (1-p)) / (MDE^2)，其中 p 为基线转化率（小数），MDE 为最小可检测效应（小数）。并附基线率与不同 MDE 下的样本量参考表，例如基线 1% 在 10% MDE 时需 253,414，在 30% MDE 时需 28,157；基线 5% 在 10% MDE 时需 48,640，在 30% MDE 时需 5,404。最短测试时长为两个完整营业周，以覆盖星期效应，即使提前达到样本量也应满足此时长。
- 执行规则：随机分配访客到对照组/变体；在达到样本量前不得查看结果（No peeking）；测试中途不得修改变体；A/B 测试采用 50/50 均匀流量分配，多变量测试采用均匀分配；每次测试只改变一个变量（多变量测试除外）；按预先计算的时长运行，而不是运行到显著为止。
- 统计分析：
- 频率派方法：比例 Z 检验，Z = (p1 - p2) / sqrt(p_pooled * (1 - p_pooled) * (1/n1 + 1/n2))，其中 p1、p2 为对照组与变体的转化率，p_pooled = (x1 + x2) / (n1 + n2)，n1、n2 为样本量。p 值解读：p < 0.05 为统计显著（95% 置信度）；p < 0.01 为高度显著（99% 置信度）；p >= 0.05 为不显著，不应宣布赢家。
- 贝叶斯方法：适用于低流量（小样本）、需要更快决策、以及希望得到每个变体为最佳的概率（而非仅“显著与否”）。解读示例：“变体 B 优于对照组的概率为 94%”，对应频率派的“我们在 95% 置信度下拒绝原假设”。
- 决策框架：变体胜出且 p < 0.05 则实施变体；对照组胜出且 p < 0.05 则保留对照组并从失败中学习；无差异且 p >= 0.05 则保留对照组并测试更大的改动；变体胜出但 p 在 0.05–0.10 之间，考虑流量因素，可能需要更多时间。
- 常见误区：提前查看（将假阳性率从 5% 抬高至 26% 以上）；提前停止（达到显著不等于达到所需样本量）；测试过多变体（每个变体都需要完整样本量）；忽视细分（整体赢家可能在关键细分中为输家）；效应太小（测试 2% 提升需要极大样本量）；未考虑季节性（运行完整周，避开节假日）；多重指标（主要指标必须预先声明，次要指标仅作方向参考）；幸存者偏差（只衡量完成的用户，忽略放弃的用户）；辛普森悖论（细分层面的赢家可能在聚合层面反转）；新奇效应（新设计带来暂时提升，应在 2–4 周后重新测试）。
- 测试优先级：高影响包括价值主张/标题、CTA 文本与位置、定价与优惠结构、表单长度（删除字段）、页面布局（单栏 vs 多栏）、社会证明的存在与位置；中影响包括图片/视频 vs 静态、推荐语形式（文字 vs 视频）、落地页导航、信任徽章与安全信号、紧迫感元素（倒计时、库存）；低影响通常不值得测试，包括按钮颜色（除非存在极端对比度问题）、字体更改、细微文案调整、图标样式、页脚内容。
三、使用方式 安装命令：git clone https://github.com/thatrebeccarae/claude-marketing.git && cp -r claude-marketing/skills/ab-testing-framework ~/.claude/skills/ 按技能流程依次执行：提出假设、计算样本量、按规则执行、进行统计分析、依据决策框架得出结论。
四、适用场景 适用于营销与增长场景中的转化率实验设计，如落地页、注册流程、定价页和 CTA 的优化；低流量场景可使用贝叶斯方法；高流量场景可使用频率派方法。可与 cro-auditor（生成测试假设）、google-analytics（GA4 实验数据与细分分析）、copywriting-frameworks（生成变体文案）集成。
五、限制 该框架为方法论与流程文档，资料未提供内置自动化执行工具、数据接入方式或界面；未说明收费、价格或平台支持细节；实际样本量、测试时长和统计结论需结合具体数据计算，不能直接套用参考表而忽略真实基线率与 MDE。