用途:在用户需要规划、设计或实施 A/B 测试与实验时提供指导,也可在用户提到“A/B test”“split test”“experiment”等时使用。目标是帮助设计出统计有效、可执行的测试。
主要能力:先做初始评估,若存在 .agents/product-marketing-context.md(旧版为 .claude/product-marketing-context.md)则先读取,再只询问未覆盖或本任务特有的信息。设计前需了解测试背景、当前状态(基线转化率、流量)与约束(技术复杂度、时间线、可用工具)。核心原则包括:从假设出发、单次只测一个变量、统计严谨(预先确定样本量、不提前偷看停止)、衡量关键指标。提供假设框架(因为[观察/数据],我们相信[改动]会导致[预期结果],面向[受众],当[指标]满足时即验证)。
测试类型:A/B(两个版本、单一改动,中等流量)、A/B/n(多变体,更高流量)、MVT(多改动组合,极高流量)、Split URL(不同 URL,中等流量)。样本量提供快速参考表(基线 1%/3%/5%/10% 对应 10%、20%、50% 提升所需每变体流量),并提及 Evan Miller 与 Optimizely 计算器,详细表格见 references/sample-size-guide.md。
指标选择:主指标(与假设直接相关、用于判定测试)、次指标(辅助解释)、护栏指标(不应变差,显著负向则停止)。变体设计可改动标题/文案、视觉设计、CTA、内容,建议单一且有意义的改动。流量分配支持 50/50、保守比例(90/10、80/20)与渐进放量,需保证用户回访看到同一变体、跨时段均衡。
实施:客户端(JavaScript 加载后修改页面,快速但可能闪烁,工具如 PostHog、Optimizely、VWO)与服务端(渲染前确定变体,无闪烁但需开发,工具如 PostHog、LaunchDarkly、Split)。运行阶段提供上线前检查清单,测试中应监控技术问题、检查分群质量、记录外部因素,避免偷看结果提前停止、修改变体、引入新流量来源。分析部分说明 95% 置信度对应 p 值小于 0.05,提供分析清单与结果解读(显著胜出、显著失败、无显著差异、信号混杂),并强调记录假设、变体、结果与决策。
适用场景:产品、营销、增长团队设计网页或产品实验。限制:资料未提供具体价格、平台支持范围或效果保证;样本量数值仅为参考,实际需结合计算器与业务情况。