用途:当用户需要规划、设计或实现 A/B 测试(又称拆分测试、实验)时使用,帮助设计能产生统计有效、可行动结果的实验。开始前若存在 .claude/product-marketing-context.md 应先读取,仅询问其中未覆盖的信息。
主要能力:围绕测试目标、基线转化率与流量、技术与时间约束进行初始评估;提供假设框架(因为某观察或数据,相信某改动会对某受众产生某结果,并以某指标验证);区分 A/B、A/B/n、MVT、Split URL 等测试类型及所需流量;给出样本量快速参考表与计算器建议;划分主指标、次指标与护栏指标;指导变体设计(文案、视觉、CTA、内容)、流量分配(50/50、90/10 等);覆盖客户端与服务端实现方式及工具;提供上线前清单、测试期间应做与不应做的事项,并说明“偷看问题”会导致假阳性;最后给出显著性判定(95% 置信度、p 值小于 0.05)、分析清单、结果解读与文档记录要求。
使用方式:先设定假设与单一变量,预先确定样本量,避免中途偷看或修改变体,测试结束后按清单分析置信区间、效应大小、次指标与护栏指标,并记录假设、变体截图、结果与决策。
适用场景:网页或产品改版、定价页、CTA、营销落地页等需要验证改动的实验设计。
限制:资料未提供具体工具的收费、价格与使用步骤;样本量数字为通用参考,实际需结合计算器与真实流量;结果显著性只是阈值而非保证。