用途:在用户需要规划、设计或实施 A/B 测试与实验时提供指导,覆盖从假设到结果分析的完整流程。
主要能力:
- 初始评估:明确测试目标、当前基线转化率、流量规模、历史数据、技术复杂度、时间与可用工具。
- 假设框架:按“因为[观察/数据],我们相信[改动]会对[受众]产生[预期结果],当[指标]达到时即验证”的结构撰写假设。
- 测试类型:A/B、A/B/n、多变量测试(MVT)、拆分 URL 测试。
- 样本量计算:需要基线转化率、最小可检测效应(MDE)、显著性水平(通常 95%)、统计功效(通常 80%);资料给出不同基线率与提升幅度下的每变体样本量参考表,并列出 Evan Miller 与 Optimizely 计算器链接。
- 测试时长:按所需样本量、变体数、每日流量与转化率估算,最短 1-2 个业务周期,避免过长。
- 指标选择:主指标、辅助指标、护栏指标,并给出首页 CTA、定价页、注册流程的示例。
- 变体设计:控制组保持不变,变体做单一且有意义的改动,可调整文案、视觉、CTA、内容。
- 流量分配:50/50、保守投放(90/10 或 80/20)、渐进放量。
- 实施方式:客户端测试(PostHog、Optimizely、VWO 等,可能闪烁)、服务端测试(PostHog、LaunchDarkly、Split 等,无闪烁但需开发)、功能开关。
- 运行与检查:上线前清单、测试期间监控技术问题与外部因素,避免提前查看结果并停止。
- 结果分析:统计显著性(p<0.05)、实际显著性、置信区间、分段差异,以及结果解读与文档记录。
使用方式:作为 Claude Code 技能,在用户提及 A/B 测试、拆分测试、实验等时触发,按上述框架输出测试计划文档、结果摘要与建议。
适用场景:营销页面、产品功能、定价页、注册流程等需要实验验证的改动。
限制:资料未提供具体收费、价格、平台支持范围或效果保证;样本量参考表仅为示例,实际需按具体参数计算。