用途:在用户需要规划、设计或实施 A/B 测试与实验时提供指导,覆盖从假设到结果分析的完整流程。
主要能力:先做初始评估,若存在 .claude/product-marketing-context.md 会先读取,再了解测试背景、当前基线转化率与流量、技术复杂度、时间线和可用工具。核心原则包括:从明确假设出发、每次只测一个变量、预先确定样本量、不提前偷看结果、以业务价值绑定主指标。提供假设框架(因为[观察/数据],我们相信[改动]会对[受众]产生[预期结果],当[指标]达到时即验证)。
测试类型:A/B、A/B/n、MVT、Split URL,并给出不同基线转化率与提升幅度下的样本量速查表(如基线 1%、提升 10% 需约 150k/变体),可参考 Evan Miller 与 Optimizely 计算器。指标分为主指标、次要指标和护栏指标。
使用方式:设计变体(文案、视觉、CTA、内容)、分配流量(50/50、保守 90/10、渐进式),选择客户端或服务端实现(PostHog、Optimizely、VWO、LaunchDarkly、Split)。运行前完成检查清单,运行中监控技术问题、检查分群质量、记录外部因素,避免偷看结果、中途修改变体或引入新流量来源。
结果分析:以 95% 置信度(p<0.05)判断显著性,检查是否达到样本量、效应量是否有意义、次要指标是否一致、护栏指标是否恶化、分群差异。结论分为显著胜出、显著失败、无显著差异、信号混杂。需记录假设、变体截图、结果与决策。
适用场景:产品页面、定价页、CTA、文案等转化优化实验。
限制:资料未提供具体工具的价格、平台支持范围或实际效果保证;样本量速查表仅为参考,实际需用计算器确认。