ab-test-setup

该技能用于规划、设计和实施A/B测试或实验，目标是产出统计有效且可行动的结果。\n\n用途：在用户提出A/B测试、拆分测试或实验需求时，先评估测试背景（要改进什么、考虑何种改动、动机）、现状（基线转化率、流量、历史数据）与约束（实现复杂度、时间、可用工具），再据此设计方案。\n\n主要能力：\n1. 假设框架。要求包含观察/数据、具体改动、预期结果与方向、适用人群、衡量指标。示例弱假设为“改按钮颜色可能提升点击”，强假设需基于热图与反馈说明CTR预期提升幅度并指明测量方式。\n2. 测试类型。A/B（对照vs单一变体）、A/B/n（多变体，需更多流量）、多变量MVT（组合改动、需显著更多流量与复杂分析）、拆分URL（适合大改版）。\n3. 样本量计算。需要基线转化率、最小可检测效应MDE、显著性水平（通常95%）和统计功效（通常80%），并给出基线率在不同提升幅度下的每组样本量速查（如1%基线对应10%提升约150k/组）。\n4. 测试时长。时长=每组所需样本量×变体数÷（日流量×转化率），最少1至2个业务周期（通常1至2周），避免过长导致新奇效应或外部因素干扰。\n5. 指标选择。主指标一个且直接关联假设，次指标解释为何奏效，护栏指标防止收入、留存、满意度恶化。\n6. 变体设计。建议单一且有意义的改动，可调整标题文案、视觉、CTA、内容等，并记录对照与变体的截图、改动与理由。\n7. 流量分配。标准50/50、保守的90/10或80/20，或逐步放量，需保证同一用户看到同一变体。\n8. 实现方式。客户端测试（PostHog、Optimizely、VWO或自研，JS改动页面，快但可能闪烁）；服务端测试（PostHog、LaunchDarkly、Split或自研，渲染前定变体，无闪烁但需开发）；特性开关偏上线而非真正A/B。\n9. 运行与纪律。上线前检查假设、主指标、样本量、时长、实现与埋点、QA与干系人沟通；运行中不提前偷看结果、不改动变体、不引入新流量。\n10. 结果分析。看是否达到样本量、统计显著性（95%对应p<0.05）、效应量是否有实践意义、次指标是否一致、护栏是否恶化、分群差异；结论可分为显著胜出、显著失败、无差异、信号混杂。\n11. 文档与沉淀。记录测试名称、ID、日期、负责人、假设、变体、结果（样本量、主/次指标、分群洞见）、决策、行动与经验，并建立可检索的学习库。\n\n限制：资料未提供具体工具的收费、价格、平台支持或效果保证；样本量速查仅为参考，实际仍需按具体输入计算。