SuperAPI AI 工具集

ab-test-setup

测试与质量

查看项目

更新于 10-15 21:09

技能介绍

用途:在写任何代码前,确保每个 A/B 测试有效、严谨且安全,防止“偷看”结果、统计功效不足和无效假设。

主要能力与流程:

  1. 前置条件:需有明确用户问题、可访问的分析数据源、大致流量估算。有效假设须包含观察或证据、单一具体改动、方向性预期、明确受众、可衡量成功标准。
  2. 假设锁定(硬性关卡):设计变体或指标前必须给出最终假设,明确目标受众、主指标、预期效应方向、最小可检测效应(MDE),并明确询问“这是本次测试最终承诺的假设吗?”,确认前不得继续。
  3. 假设与有效性检查:列出流量稳定性、用户独立性、指标可靠性、随机化质量、外部因素等假设;若假设薄弱或被违反,应警告用户并建议推迟或重新设计。
  4. 测试类型选择:A/B(单一改动、两个变体)、A/B/n(多变体、需更高流量)、多变量测试 MVT(交互效应、需极高流量)、拆分 URL 测试(重大结构改动);默认 A/B。
  5. 指标定义:主指标(必填、与假设直接相关、启动前冻结)、次要指标(提供背景、不得覆盖主指标)、护栏指标(不得恶化,显著负面时触发停止)。
  6. 样本量与时长:预先定义基线率、MDE、显著性水平(通常 95%)、统计功效(通常 80%),估算每变体所需样本量与预期时长。
  7. 执行就绪关卡(硬性停止):假设已锁定、主指标已冻结、样本量已计算、时长已定义、护栏已设置、追踪已验证,缺一不可。

运行与分析:测试中只监控技术健康、记录外部因素;不得因结果好看提前停止、中途改变体、新增流量来源或重定义成功标准。分析时不得超出受测人群泛化、不得超出受测改动宣称因果、不得无视护栏失败,需区分统计显著性与业务判断。结果处理:显著正向考虑上线;显著负向拒绝变体并记录;不确定考虑更多流量或更大改动;护栏失败即使主指标胜出也不得发布。

记录与安全:必须记录假设、变体、指标、样本量与实际达成、结果、决策、经验与后续想法,并存于共享可搜索位置。若基线率未知且无法估算、流量不足以检测 MDE、主指标未定义、多变量改动无正确设计、假设无法清晰陈述,应拒绝继续并说明原因与下一步。

核心原则:每次测试一个假设、一个主指标、启动前承诺、不偷看、重学习而非重胜负、统计严谨优先。

适用场景:需要规范设计、执行与分析 A/B 测试的团队或个人。限制:资料未提供具体工具、平台、价格或代码实现细节。