SuperAPI AI 工具集

ab-test-setup

测试与质量

查看项目

更新于 10-16 03:43

技能介绍

用途:当用户需要规划、设计或实施 A/B 测试或实验时使用,也适用于提到“A/B test”“split test”“experiment”等场景。其目标不是随便试一下,而是设计出统计有效、可指导决策的实验。

主要能力:先做初始评估,确认要改进什么、当前转化率与流量、技术与时间约束;如存在 .claude/product-marketing-context.md 会先读取,避免重复提问。核心原则包括:以明确假设开始、单变量测试、统计严谨(预先确定样本量、不提前查看结果)、衡量与业务价值绑定的主指标,并设次级与护栏指标。提供假设框架“因为[观察/数据],我们相信[改动]会为[受众]带来[预期结果],当[指标]达到时可验证”。介绍 A/B、A/B/n、MVT、Split URL 等测试类型及所需流量,给出样本量速查表(如基线 1%、提升 10% 需约 150k/变体)并提及 Evan Miller、Optimizely 计算器与 references/sample-size-guide.md。还涵盖指标选择、变体设计(文案、视觉、CTA、内容)、流量分配(50/50、保守、渐进)、客户端与服务端实现及工具(PostHog、Optimizely、VWO、LaunchDarkly、Split)、上线前检查清单、测试期间注意事项、结果分析(95% 置信度、p 值<0.05、分段对比)与常见错误。

使用方式:按技能文档的步骤依次进行假设制定、样本量计算、变体实现与埋点验证,测试中只监控技术问题,不中途改动或提前停止,结束后按清单分析并记录。

适用场景:产品页面、定价页、CTA、文案等优化实验。

限制:文档中未提供该技能本身的收费、价格与具体安装命令等信息,暂未提供;样本量数字为通用示例,实际需结合自身流量计算。