用途:帮助规划、设计和实施 A/B 测试或实验,目标是产出统计有效、可执行的结果。若存在 .claude/product-marketing-context.md,会先读取该上下文,再询问未覆盖的信息。
设计前先了解:测试背景(想改进什么、考虑什么改动)、当前状态(基线转化率、流量)、约束(技术复杂度、时间线、可用工具)。
核心原则:先有具体假设;每次只测一个变量;统计严谨(预先确定样本量、不提前停止);衡量与业务价值挂钩的主要指标,以及次要指标和护栏指标。
假设框架:因为[观察/数据],我们相信[改动]会对[受众]产生[预期结果],当[指标]达到时即验证。
测试类型:A/B、A/B/n、MVT、Split URL,各自所需流量不同。资料给出样本量速查表(如基线 1%、提升 10% 约 150k/变体;基线 10%、提升 10% 约 12k/变体)并提及 Evan Miller、Optimizely 计算器,详细表格见 references/sample-size-guide.md。
指标:主要指标直接对应假设并用于判定;次要指标解释原因;护栏指标防止变差,显著负面时停止测试。
变体设计:可变化标题/文案、视觉设计、CTA、内容;建议单一且有意义的改动。流量分配有 50/50、保守比例、渐进增加等方式,需保证用户回访看到同一变体并平衡时段。
实施:客户端(加载后由 JavaScript 修改页面,快但可能闪烁)或服务端(渲染前决定,无闪烁但需开发)。工具提及 PostHog、Optimizely、VWO、LaunchDarkly、Split。
运行与限制:上线前需记录假设、定义指标、计算样本量、验证追踪和 QA;测试中监控技术问题、记录外部因素,不要偷看并提前停止、不要中途修改变体、不要引入新流量源。提前看结果会导致假阳性和错误决策。
分析:95% 置信度对应 p<0.05;检查是否达到样本量、显著性、效应大小、次要指标一致性、护栏指标、分群差异。结果可能是显著赢家(实施)、显著输家(保留对照并分析)、无显著差异(需更多流量或更大幅测试)、信号混杂(细分)。每个测试都要记录假设、变体截图、结果和决策,模板见 references/test-templates.md。
常见错误:测试改动过小或过多、没有清晰假设、提前停止、中途改动、不检查实施、忽略置信区间、挑选分群、过度解读无结论结果。
相关技能:page-cro(生成测试想法)、analytics-tracking(设置测量)、copywriting(撰写变体文案)。未提供具体收费、平台限制或更多实现细节。