SuperAPI AI 工具集

ab-test-setup

测试与质量

查看项目

更新于 10-15 21:41

技能介绍

用途:帮助规划、设计与实施 A/B 测试或实验,产出统计有效、可执行的结论。若存在 .claude/product-marketing-context.md,会先读取该上下文,再只询问未覆盖的信息。

主要能力:先了解测试背景、当前基线转化率与流量、技术复杂度与时间线等约束;强调先有假设、单变量测试、统计严谨、衡量关键指标。提供假设框架:因为[观察/数据],我们相信[改动]会为[受众]带来[预期结果],当[指标]满足时即验证。支持 A/B、A/B/n、MVT、Split URL 等测试类型,并给出样本量速查(如基线 1%、提升 10% 约需 150k/变体;基线 10%、提升 50% 约需 550/变体),并提及 Evan Miller、Optimizely 计算器。指标分为主指标、次指标与护栏指标。变体可涉及标题文案、视觉设计、CTA、内容等。流量分配支持 50/50、保守分配与渐进放量。实现方式分客户端(JavaScript 修改页面,可能闪烁;工具如 PostHog、Optimizely、VWO)与服务端(渲染前确定变体,无闪烁,需开发;工具如 PostHog、LaunchDarkly、Split)。

使用方式:按预启动清单确认假设、主指标、样本量、变体实现、埋点验证与 QA;测试期间监控技术问题与分群质量,不提前偷看结果、不中途改动变体、不引入新流量来源。分析时检查是否达到样本量、统计显著性(95% 置信度即 p<0.05)、效应量、次指标与护栏指标、分群差异,并记录假设、变体截图、结果与决策。

适用场景:产品、营销与增长团队设计转化率或体验实验。

限制:资料未提供具体价格、平台支持范围或效果保证;样本量数值仅为速查参考,实际需用计算器确认。