本技能用于指导 A/B 测试或实验的规划、设计与实施,目标是产出统计有效、可执行的结果。
用途:当需要改进转化率或其他指标、考虑某项变更时,借助它建立假设、选择指标、估算样本量、设计变体并运行分析。
主要能力:
- 假设构建:采用“因为[观察/数据],我们相信[变更]会导致[预期结果],对象为[受众],当[指标]达到时即验证”的结构。
- 测试类型:A/B、A/B/n、MVT、Split URL。
- 样本量参考:给出基线 1%、3%、5%、10% 对应 10%、20%、50% 提升的每组所需流量表,并提及 Evan Miller 与 Optimizely 计算器。
- 指标选择:区分主指标(决定结论)、次指标(解释原因)和护栏指标(防止变差)。
- 变体设计:可变标题/文案、视觉设计、CTA、内容等;建议单一且有意义的改动。
- 流量分配:50/50 标准拆分、90/10 或 80/20 保守拆分、渐进放量。
- 实施方式:客户端(JavaScript 修改页面,可能闪烁)与服务端(渲染前确定变体,无闪烁但需开发)。
- 运行与检查:上线前核对假设、主指标、样本量、实现正确性、追踪验证和 QA;运行中监控技术问题、检查分群质量、记录外部因素。
- 结果分析:95% 置信度对应 p 值小于 0.05;核对样本量、显著性、效应量、次指标一致性、护栏和分群差异。
- 文档与常见错误:记录假设、变体截图、结果、决策与收获;避免测试过小改动、提前停止、测试中途修改、忽视置信区间、挑拣分群等。
使用方式:建议先检查 .agents/product-marketing-context.md 获取产品营销背景,再补充测试上下文、当前基线、流量和约束。可提出当前转化率、页面流量、考虑的变化、最小可检测提升、可用工具和是否测试过该区域等问题。
限制:具体工具集成、实际计算器链接和详细样本量/模板资源需参考 references/sample-size-guide.md 与 references/test-templates.md;其余平台、收费、价格或效果信息暂未提供。