SuperAPI AI 工具集

ab-testing

测试与质量

查看项目

更新于 10-15 22:37

技能介绍

用途:帮助用户设计统计有效、可执行的 A/B 测试与实验,也用于搭建持续性的增长实验项目。开始前先读取 .agents/product-marketing.md(或 .claude/product-marketing.md、旧版 product-marketing-context.md)作为产品营销背景,仅追问未覆盖的信息。

主要能力:提供假设框架(Because…we believe…will cause…for…,以指标验证)、测试类型区分(A/B、A/B/n、MVT、Split URL)、样本量速查(如基线 3% 检测 10% 提升约 47k/组;基线 10% 检测 20% 提升约 3k/组)与 Evan Miller、Optimizely 计算器参考;指标分为主指标、次要指标与护栏指标;变体设计覆盖文案、视觉、CTA 与内容;流量分配支持 50/50、保守与爬坡策略。

使用方式:按假设—单变量—预定样本量—测量的原则执行;实施可选客户端(PostHog、Optimizely、VWO,可能闪烁)或服务端(PostHog、LaunchDarkly、Split,需开发);上线前核对假设、主指标、样本量、实现、追踪与 QA;测试中监控技术问题与分段质量,不偷看结果提前停止。

分析与项目化:以 95% 置信度(p<0.05)判断显著性,按样本量、置信区间、效应量、次要指标、护栏与分段逐项检查;结果分为显著胜出、显著失败、无差异、信号混杂四种结论并记录文档。增长项目循环为生成假设、ICE 打分、设计运行、分析、沉淀 playbook 再重复;建议每月 4-8 个实验、胜率 20-30%、单个测试 2-4 周、积压 20+,并给出周/双周/月/季度节奏。

限制:未提供具体定价、平台支持范围、安装命令或数据导出细节;样本量与工具信息为资料所列参考,实际效果因场景而异。