用途:协助规划、设计与实施 A/B 测试或其他实验,目标是产出统计有效且可执行的结论。触发场景包括用户提到 A/B 测试、拆分测试、实验或想验证某个改动。若存在 .agents/product-marketing-context.md(旧版为 .claude/product-marketing-context.md),会先读取该产品营销背景,只再询问任务特有信息。
主要能力:先做初始评估,了解测试背景、当前基线转化率与流量、约束条件(技术复杂度、时间线、工具)。遵循核心原则:先提出假设、每次只测一个变量、统计严谨(预先确定样本量、不提前偷看结果)、衡量关键指标。提供假设框架(Because…we believe…will cause…for…,并以指标验证),区分 A/B、A/B/n、MVT、Split URL 等测试类型,并给出不同基线与提升幅度对应的样本量参考(如基线 1%、期望提升 20% 约需 39k/变体),推荐 Evan Miller 与 Optimizely 计算器。说明主指标、次要指标、护栏指标的选取,以及变体设计可变化的方向(标题文案、视觉、CTA、内容)与流量分配方式(50/50、保守、渐进)。
使用方式:按流程进行,包含启动前检查清单(假设已记录、主指标已定义、样本量已算、变体实现正确、跟踪已核实、各变体 QA 通过),测试期间监控技术问题与分段质量,避免偷看结果提前停止、中途修改变体、引入新流量来源。分析结果时检查是否达样本量、统计显著性(95% 置信即 p<0.05)、效应量是否有意义、次要指标是否一致、护栏指标是否变差、分群差异。最后记录假设、变体、结果与决策。
适用场景:需要设计统计有效的实验、制定假设、估算样本量、选择指标、设计变体与流量分配、执行与解读测试结果时。
限制:资料未提供具体工具的价格、平台可用性或效果保证;样本量表格与时长计算详见 references/sample-size-guide.md,模板详见 references/test-templates.md,相关内容暂未在资料中展开。