SuperAPI AI 工具集

ab-test-setup

数据与分析

查看项目

更新于 10-16 05:51

技能介绍

用途:在编写任何测试代码之前,确保每个 A/B 测试有效、严谨且安全,避免偷看结果、统计效力不足和无效假设。

必要条件:需有明确的用户问题、可访问的分析数据源和大致流量估算。有效假设需包含观察或证据、单一且具体的改动、方向性预期、明确受众和可衡量的成功标准。

强制关卡:假设锁定为硬性关卡,需给出目标受众、主指标、预期效应方向与最小可检测效应(MDE),并明确确认是否为最终承诺假设后方可继续;随后进行假设与有效性检查,列出流量稳定性、用户独立性、指标可靠性、随机化质量和外部因素等假设,若假设薄弱或被违反则建议推迟或重新设计。

测试类型:优先选最简有效方案,默认 A/B;流量更高时可选 A/B/n,多元测试(MVT)需极高流量,重大结构性改动可用分离 URL 测试。

指标:主指标唯一且预先冻结,用于判定成败;次要指标提供背景但不得覆盖主指标;护栏指标不得恶化,显著为负时触发停止。

样本与时长:需预先定义基线率、MDE、显著性水平(通常 95%)与统计功效(通常 80%),估算每个变体所需样本量和预计测试时长,缺少现实估算则不得继续。

执行就绪硬性停止:仅当假设已锁定、主指标已冻结、样本量已计算、时长已定义、护栏已设置且追踪已验证时才可进入实现。

测试期间:应监控技术健康状况并记录外部因素;不得因结果好看提前停止、中途修改变体、新增流量来源或重新定义成功标准。

结果分析:不得超出受测人群泛化、不得声称超出所测改动的因果、不得无视护栏失败,需区分统计显著性与业务判断。显著正向可考虑上线,显著负向应拒绝并记录,不确定可增加流量或加大改动,护栏失败则即使主指标胜出也不得发布。

记录与学习:必须记录假设、变体、指标、样本量与实际达成、结果、决策、经验与后续想法,并存于共享可搜索位置。

拒绝条件:基线率未知且无法估算、流量不足以检测 MDE、主指标未定义、未正确设计却改动多个变量、假设无法清晰陈述时,应拒绝推进并说明原因与后续建议。

核心原则:一测试一假设、一主指标、启动前承诺、不偷看、学习优先于胜出、统计严谨优先。