该技能面向实验与 A/B 测试,目标是帮助设计能产生统计有效、可执行结果的测试。开始前可先读取 .claude/product-marketing-context.md 中的产品营销上下文,只询问其中未覆盖的信息,并了解测试背景、当前状态(基线转化率、流量)与约束(技术复杂度、时间线、可用工具)。
核心原则:从假设出发、每次只测一个变量、遵循统计严谨性(预先确定样本量、不提前偷看停止)、衡量与业务价值挂钩的指标。假设框架为:因为[观察/数据],我们相信[改动]会对[受众]产生[预期结果],当[指标]达到某值时即验证成立。
测试类型包括 A/B、A/B/n、MVT、Split URL,不同类型所需流量不同。样本量可参考快速对照表(如基线 3%、提升 10% 需约 47k/变体),并可使用 Evan Miller 或 Optimizely 计算器。指标分为主指标、辅助指标和护栏指标,例如定价页测试中主指标为方案选择率,护栏指标为客服工单和退款率。
变体设计可涉及文案、视觉、CTA、内容等,建议单一且足够显著、忠于假设的改动。流量分配有 50/50、保守分配和渐进放量等方式,需保证用户返回时看到同一变体并平衡时段曝光。实现方式分客户端(加载后修改页面,可能有闪烁,工具如 PostHog、Optimizely、VWO)与服务端(渲染前确定,无闪烁,工具如 PostHog、LaunchDarkly、Split)。
运行测试需完成预发布检查清单,期间监控技术问题、记录外部因素,不要偷看结果提前停止、不要中途修改变体或引入新流量。提前偷看会导致假阳性和错误决策。分析时关注 95% 置信度(p-value < 0.05)、是否达到样本量、效应大小是否显著、辅助指标与护栏指标表现及分群差异。每个测试都应记录假设、变体、结果、决策与经验教训。常见错误包括测试改动过小、变量过多、无明确假设、提前停止、忽略置信区间、挑拣分群和过度解读不显著结果。相关技能包括 page-cro、analytics-tracking 和 copywriting。