SuperAPI AI 工具集

19-ab-test-setup

测试与质量

查看项目

更新于 10-16 01:17

技能介绍

用途:为 A/B 测试提供有纪律的流程,避免凭感觉测试或过早下结论。核心是每次只测一个变量,先写可检验假设,再算样本量与时长,最后按显著性判断胜负。

主要能力:给出 7 条原则(单变量、可检验假设、样本量充足、时长完整、不提前偷看、显著性>95%、记录归档);提供样本量公式 16×p×(1-p)/MDE²,并附流量与转化率对应的可行性速查;列出 8 类优先测试要素(标题、CTA、主图/视频、价格展示、社会证明、表单字段、邮件标题、广告创意)及优先级矩阵;给出广告测试顺序(hook→格式→角度→时长)、受众测试框架、预算与时长阈值、winner 判定标准(≥15% 提升且 p<0.05)与决策表;提供测试日志模板、追踪设置方案(平台内置、PostHog、VWO/Convert.com、手动分流)和结果分析计算器链接。

使用方式:先检查 .agents/product-marketing-context.md,再向用户确认测试对象、主指标、日流量与目标;按模板输出假设、变量、指标、样本量、设置、时间线与结论。手动分流可用 /page-a 与 /page-b 各 50%,配合 Meta Pixel 自定义参数或 GA4 UTM 追踪。

适用场景:广告创意与受众测试、落地页优化、邮件标题、价格与 CTA 等增长实验。

限制:日流量低于 100 访问时建议先做流量而非测试;样本量、时长与显著性阈值需按资料给出的标准执行;工具价格与平台可用性以资料所述为准,未提供的细节暂未说明。