用途:帮助规划、设计和实施 A/B 测试或实验,产出统计有效、可执行的结果。适用于用户提到 A/B 测试、拆分测试、实验等场景。
主要能力:先做初始评估(测试背景、当前基线转化率与流量、技术复杂度、时间与工具限制);强调核心原则:从假设出发、单变量测试、统计严谨、衡量关键指标。提供假设框架(因为[观察/数据],我们相信[改动]会导致[预期结果],面向[受众],当[指标]满足时即验证)。覆盖 A/B、A/B/n、多变量(MVT)、拆分 URL 等测试类型;给出样本量计算所需输入(基线转化率、最小可检测效应、显著性水平通常 95%、统计功效通常 80%)及速查表,并引用 Evan Miller 与 Optimizely 的样本量计算器链接。说明测试时长公式与最短 1-2 个业务周期、避免过长的建议。区分主指标、次要指标与护栏指标,并给出首页 CTA、定价页、注册流程的指标示例。指导变体设计(文案、视觉、CTA、内容)与流量分配(50/50、保守投放、渐进放量)。介绍客户端测试、服务端测试与功能开关的实现方式及各自适用场景。提供上线前检查清单、测试期间该做与不该做的事、窥视问题及应对、结果分析(统计显著性与实际显著性、置信区间、分段差异)、结果解读表、测试文档模板与学习库建设。
使用方式:按技能内提供的测试计划文档结构输出,包括假设、测试设计、变体、指标、实现、分析计划;测试完成后输出结果摘要与建议。
适用场景:营销页面、产品功能、定价页、注册流程等需要实验验证的改动。
限制:未提供具体工具安装命令或代码;样本量速查表与公式为资料原文内容,实际使用需结合自身数据;统计显著不等于业务有效,需评估实际显著性。