用途
本技能用于在用户希望规划、设计或实施 A/B 测试或实验时提供系统化支持。当用户提到“A/B test”“split test”“experiment”“test this”等关键词时适用。目标是帮助设计出统计有效、可付诸行动的测试，而不是凭猜测做决策。
核心原则
- 以假设为起点：不是“看看会发生什么”，而是基于推理或数据对结果做出具体预测。
- 一次只测一件事：每次测试只改变单一变量，否则无法判断哪个改动起了作用。
- 统计严谨：预先确定样本量，不要中途偷看并提前停止，坚持既定方法。
- 衡量真正重要的指标：主指标与业务价值挂钩，次要指标提供背景，护栏指标防止负面影响。
假设框架
结构为：因为［观察／数据］，我们相信［改动］会为［受众］带来［预期结果］。当［指标］达到某水平时即可确认。 示例（弱）：“改变按钮颜色可能增加点击。” 示例（强）：“因为用户反馈难以找到 CTA（依据热力图与反馈），我们相信把按钮放大并使用对比色能让新访客的 CTA 点击率提升 15% 以上。我们将衡量从页面浏览到开始注册的点击率。”
测试类型与所需流量
- A/B：两个版本、单一改动，所需流量中等。
- A/B/n：多个变体，所需流量更高。
- MVT：多处改动组合测试，所需流量非常高。
- Split URL：不同变体使用不同 URL，所需流量中等。
样本量
提供快速参考表，列举不同基线转化率（1%、3%、5%、10%）下，为检测 10%、20%、50% 的相对提升所需的每变体样本量。例如基线 3%、期望 20% 提升约需 12k/变体。同时列出可用的计算器（Evan Miller、Optimizely），详细样本量表与时长计算见 references/sample-size-guide.md。
指标选择
- 主指标：最重要的单一指标，直接与假设挂钩，用于判定测试结果。
- 次要指标：辅助解释主指标，说明改动为何／如何生效。
- 护栏指标：不应变差的方面，若显著恶化则停止测试。 示例（定价页测试）：主指标为方案选择率；次要指标为页面停留时长、方案分布；护栏指标为支持工单、退款率。
变体设计
可变动的类别包括：标题／文案（信息角度、价值主张、具体程度、语气）、视觉设计（布局、颜色、图片、层级）、CTA（按钮文案、大小、位置、数量）、内容（包含哪些信息、顺序、数量、社会认同）。最佳实践是：单一且有意义的改动、足够显著以产生影响、忠于假设。
流量分配
- 标准：50/50，A/B 测试默认。
- 保守：90/10 或 80/20，限制差变体的风险。
- 渐进：先小后大，用于缓解技术风险。 需考虑：一致性（用户回访时看到同一变体）、在不同时段／星期均衡曝光。
实现方式
- 客户端：页面加载后用 JavaScript 修改，实施快，可能造成闪烁。工具：PostHog、Optimizely、VWO。
- 服务端：渲染前决定变体，无闪烁，需要开发工作。工具：PostHog、LaunchDarkly、Split。
运行测试
上线前检查清单：假设已记录、主指标已定义、样本量已计算、变体实现正确、追踪已验证、所有变体已完成 QA。 测试期间应做：监控技术问题、检查分段质量、记录外部因素。不应做：偷看结果并提前停止、修改变体、引入新来源流量。 “偷看问题”：在达到样本量前查看结果并提前停止，会导致假阳性和错误决策。应预先承诺样本量并信任流程。
分析结果
统计显著性：95% 置信度对应 p 值 < 0.05，意味着结果随机出现的概率低于 5%，只是阈值而非保证。 分析清单：是否达到样本量（否则结果只是初步的）；是否统计显著（检查置信区间）；效应量是否有意义（对比 MDE 与项目影响）；次要指标是否一致；护栏指标是否恶化；不同分段（如移动端 vs 桌面端、新访客 vs 回访）是否有差异。 结果解读：显著胜出则实施变体；显著落后则保留对照并分析原因；无显著差异则需更多流量或更大胆的测试；信号混乱则需深入挖掘或分群分析。
文档记录
每个测试应记录：假设、变体（附截图）、结果（样本、指标、显著性）、决策与收获。模板见 references/test-templates.md。
常见错误
测试设计：改动过小（无法检测）、测试太多东西（无法隔离）、没有清晰假设。 执行：提前停止、测试中途改动、未检查实现。 分析：忽略置信区间、挑选性报告分段、过度解读不确定结果。
任务相关问题
当前转化率是多少？该页面有多少流量？考虑做什么改动、为什么？值得检测的最小提升是多少？有哪些测试工具？此前是否测试过该区域？
主动触发场景
当出现以下情况时主动提供 A/B 测试设计：用户分享转化率并询问如何提升；标题、CTA 或布局的两个版本存在争论；落地页或邮件表现低于预期；涉及定价页改动；功能或活动上线后的复盘。
输出物
- 实验简报（Markdown 文档）：假设、变体、指标、样本量、时长、负责人。
- 样本量计算输入（表格）：基线率、MDE、置信水平、功效。
- 上线前 QA 清单（清单）：实现、追踪、变体渲染验证。
- 结果分析报告（Markdown 文档）：统计显著性、效应量、分段明细、决策。
- 测试待办清单（优先级列表）：按预期影响与可行性对实验排序。
沟通标准
所有输出应满足：假设清晰、指标预注册、决策有记录。避免把不确定结果当作胜利。每次测试都应产生收获，即使变体失败。设计实验前参考 marketing-context 以对齐产品与受众定位。
相关技能
- page-cro：需要寻找测试点子时使用；已有假设只需测试设计时不使用。
- analytics-tracking：测试前搭建衡量基础设施时使用；不能替代预先定义主指标。
- campaign-analytics：测试结束后把结果纳入更大范围的归因分析时使用；不在测试进行中使用。
- pricing-strategy：测试结果影响定价决策时使用；不能以纯战略推理替代受控测试。
- marketing-context：任何测试设计之前作为基础，确保假设与 ICP、定位一致，应始终优先加载。