用途:在用户需要规划、设计或实施 A/B 测试或实验时提供指导,也适用于提及“A/B test”“split test”“experiment”等场景。
主要能力:先做初始评估,明确测试背景、当前状态(基线转化率、流量、历史数据)与约束(技术复杂度、时间、工具)。核心原则包括:从假设出发、单变量测试、统计严谨(预先确定样本量、不提前偷看)、衡量关键指标。提供假设框架(因为[观察],我们相信[改动]会带来[结果],面向[受众],以[指标]验证),并区分 A/B、A/B/n、多变量(MVT)、拆分 URL 等测试类型。
使用方式:给出样本量计算所需输入(基线转化率、最小可检测效应、显著性水平通常 95%、统计功效通常 80%),并附快速参考表与在线计算器链接(Evan Miller、Optimizely)。说明测试时长公式与最短 1-2 个业务周期、避免过长的建议。指导选择主指标、次指标与护栏指标,设计对照与变体,规划流量分配(50/50、保守投放、渐进放量),并区分客户端测试、服务端测试与功能开关。
适用场景:落地页 CTA、定价页、注册流程等实验;提供上线前检查清单、测试期间注意事项、结果分析方法(统计显著性、实际显著性、分段差异)、文档模板与常见错误。
限制:资料未提供具体工具价格、平台支持范围或效果保证;样本量参考表与公式为通用指引,实际需结合业务数据。相关技能包括 lp-optimizer、analytics-tracking、copywriting。