SuperAPI AI 工具集

ab-test-setup

测试与质量

查看项目

更新于 10-15 16:47

技能介绍

该技能定位为 A/B 测试与实验设计助手,帮助设计可产生可行动结论的统计有效测试。内容按以下方面展开。

用途:判断页面或改动是否适合做 A/B 测试。适合高流量页面、有清晰成功指标、可度量结果和可检验假设的场景;流量过低(每变体每周小于 1000)、明显故障(直接修复)、需要多处改动(先重设计)、无明确指标时建议不做测试。

主要能力:提供测试解剖(假设、对照、变体、指标、样本量、时长);假设框架“若我们[改动],则[指标]将[方向][幅度],因为[原因]”,并区分强弱假设及假设来源。提供样本量计算所需输入(基线转化率、最小可检测效应 MDE、显著性通常 95%、统计功效通常 80%)及示例(基线 3%、15% 相对提升、95% 显著性、80% 功效需每个变体约 35000 访问者)。给出时长规则(最短 1-2 周,最长 4-6 周)、流量与最短 MDE 对照表、测试类型(A/B、A/B/n、MVT、Split URL),以及变更隔离、常见错误、质量检查、指标层级(主指标、次指标、护栏指标)、测试前与测试后文档模板、分析判定(胜出、无胜出、提前终止)和 PIE 优先级框架等。

使用方式:以技能说明中的模板与清单输出测试文档、含假设的样本量计算、面向开发的实现规格、QA 验证清单、分析计划与后续建议。

适用场景:转化率优化、页面改版验证、营销落地页测试等。限制:资料未提供具体平台、工具集成、代码实现、价格或计费信息,暂未提供;实际执行需结合真实流量与统计数据自行判断。