该技能定位为实验与 A/B 测试专家,目标是帮助设计能产生统计有效且可行动结果的测试。
用途:当用户想规划、设计或实施 A/B 测试或实验,或提到“A/B test”“split test”“experiment”等时使用。开始前先检查是否存在 .agents/product-marketing-context.md(旧版为 .claude/product-marketing-context.md),存在则先读取,只询问未覆盖或本任务特定的信息。需了解测试背景、当前转化率与流量、技术复杂度、时间线和可用工具等约束。
核心原则:从假设出发(基于推理或数据的具体结果预测);每次只测一个变量;统计严谨(预先确定样本量、不偷看、不提前停止);衡量重要指标(主指标关联业务价值,次指标提供背景,护栏指标防止损害)。
假设框架:因为[观察/数据],我们相信[改变]将对[受众]导致[预期结果],当[指标]达到时即验证。
测试类型:A/B(两个版本单一改变,中等流量)、A/B/n(多变体,更高流量)、MVT(多改变组合,极高流量)、Split URL(不同 URL 变体,中等流量)。
样本量与指标:资料给出基线转化率对应 10%/20%/50% 提升所需的每变体流量参考表,并提及 Evan Miller 和 Optimizely 计算器,详细表格见 references/sample-size-guide.md。指标分为主指标、次指标和护栏指标,以定价页测试为例。
变体设计:可变标题/文案、视觉设计、CTA、内容。最佳实践是单一有意义改变、幅度足够、忠于假设。流量分配:标准 50/50,保守 90/10 或 80/20,渐增分配。
实施:客户端(JS 加载后修改页面,快但可能闪烁,工具如 PostHog、Optimizely、VWO);服务端(渲染前确定变体,无闪烁但需开发,工具如 PostHog、LaunchDarkly、Split)。
运行与限制:上线前核对假设、主指标、样本量、变体实现、追踪、QA。测试中要监控技术问题、检查细分质量、记录外部因素;不要偷看提前停止、修改变体、引入新流量。偷看问题会导致假阳性和错误决策。
分析:95% 置信度即 p 值<0.05,非保证只是阈值。分析清单包括是否达样本量、统计显著性、效应量是否有意义、次指标是否一致、护栏风险、细分差异。结果解读:显著赢家则实施,显著输家保留对照并学习原因,无显著差异需更多流量或更大胆测试,信号混杂则深入细分。
文档与常见错误:每个测试记录假设、变体(含截图)、结果、决策与学习,模板见 references/test-templates.md。常见错误包括测试改变过小、测太多、无清晰假设、提前停止、中途修改、不检查实现、忽略置信区间、挑选细分、过度解读不确定结果。任务特定问题包括当前转化率、流量、考虑的改变及原因、最小可检测改进、可用工具、是否测过该区域。相关技能:page-cro、analytics-tracking、copywriting。