SuperAPI AI 工具集

ab-test-setup

测试与质量

查看项目

更新于 10-16 04:30

技能介绍

用途:当需要规划、设计或实施 A/B 测试或实验时使用,也适用于用户提到“A/B test”“split test”“experiment”等场景。目标是设计出统计有效且可执行的结果。

主要能力:提供假设框架(因为[观察],我们相信[改变]会带来[结果],对[受众],通过[指标]验证);支持 A/B、A/B/n、多变量(MVT)、Split URL 等测试类型;计算样本量所需输入(基线转化率、最小可检测效应、显著性与功效);定义主指标、次指标与护栏指标;设计对照组与变体;选择客户端或服务端实施方案,并支持功能开关;提供测试前检查清单、运行中注意事项、分析结果的方法与文档模板。

使用方式:属于引导式技能,通过问答收集测试上下文、当前状态与约束条件,再依据上述框架与步骤输出测试计划或结果汇总。样本量可参考 Evan Miller 计算器与 Optimizely 计算器。

适用场景:落地页 CTA、定价页、注册流程等页面或流程的实验设计。

限制:强调预确定样本量、不要提前查看并停止、单次只测试一个变量;客户端测试可能闪烁,服务端需开发工作;多变量测试需要显著更多流量。具体工具、价格与效果资料暂未提供。