用途:当用户想规划、设计或实施 A/B 测试或实验,或提到“A/B 测试”“拆分测试”“实验”等时使用。该技能扮演实验与 A/B 测试专家,目标是设计出统计有效、可执行的结果。
主要能力:先做初始评估,了解测试背景、当前状态(基线转化率、流量、历史数据)与约束(技术复杂度、时间、工具)。核心原则包括:从假设出发、单变量测试、统计严谨(预先确定样本量、不提前偷看)、衡量关键指标。提供假设框架:因为[观察/数据],我们相信[改动]会为[受众]带来[预期结果],当[指标]达到时即验证。
测试类型:A/B(对照与单一变体)、A/B/n(多变体)、多变量测试(MVT,组合改动)、拆分 URL 测试。样本量计算需基线转化率、最小可检测效应(MDE)、显著性水平(通常 95%)和统计功效(通常 80%),并给出快速参考表与 Evan Miller、Optimizely 计算器链接。测试时长公式:所需每变体样本量×变体数 ÷(每日流量×转化率),最短 1-2 个业务周期。
指标选择:主指标(与假设直接相关)、次指标(解释原因)、护栏指标(不应变差,如收入、留存、满意度)。变体设计涵盖文案、视觉、CTA、内容,并需记录对照与变体。流量分配支持 50/50、保守投放(90/10、80/20)和渐进放量。
实施方式:客户端测试(PostHog、Optimizely、VWO 等,JS 加载后修改页面,可能闪烁,适合营销页与文案视觉改动);服务端测试(PostHog、LaunchDarkly、Split 等,渲染前确定变体,无闪烁,适合产品功能与性能敏感页面);功能开关(二元开关,非真正 A/B,可转为百分比拆分)。
运行与限制:提供上线前检查清单、测试期间应做与不应做事项,强调偷看问题会导致假阳性、效应量虚高和错误决策。分析结果时区分统计显著性与实际显著性,检查样本量、置信区间、p 值、效应量、次指标与护栏指标,并按显著赢家、显著输家、无显著差异、信号混杂四种情况给出结论。还提供测试文档模板、学习库建设、输出格式(测试计划、结果摘要、建议)以及常见错误清单。
适用场景:营销页、定价页、注册流程等转化优化实验。限制:资料未提供具体工具版本、价格或平台支持细节;实际样本量、时长与效果需依据真实数据计算,不能保证结果。