SuperAPI AI 工具集

ab-test-setup-v2

营销与增长

查看项目

更新于 10-15 21:09

技能介绍

用途:这是一个 A/B 测试设置工作流技能,用于在实施前对测试设计进行结构化把关,防止“偷看”结果、保证统计功效、拦截无效假设。适用前提包括:明确的用户问题、可访问的分析数据源、可粗略估计的流量规模。

主要能力与强制关口:需先锁定假设(目标受众、主指标、预期方向、最小可检测效应 MDE),并明确确认是否为最终承诺假设;随后进行假设与有效性检查,列出流量稳定性、用户独立性、指标可靠性、随机化质量及外部因素等假设,若假设薄弱则建议推迟或重新设计。测试类型默认选择 A/B,按需选择 A/B/n、多变量或拆分 URL 测试。指标分为主指标(必须预先冻结)、次级指标与护栏指标,护栏显著恶化时应停止测试。需预先定义基线率、MDE、显著性水平(通常 95%)、统计功效(通常 80%),估算每变体样本量与预期时长。执行就绪关口要求假设已锁定、主指标已冻结、样本量已计算、时长已定义、护栏已设置、追踪已验证,缺一即停止。

运行与分析:测试期间只监控技术健康度并记录外部因素,不因结果好看提前停止、不中途改变变体、不新增流量来源或重定义成功标准。分析时不外推到未测试人群、不超出所测变更声称因果、不覆盖护栏失败,区分统计显著性与业务判断。结果处理:显著正向考虑发布;显著负向拒绝并记录学习;不确定则考虑增加流量或更大改动;护栏失败即使主指标获胜也不上线。

记录与限制:必须记录假设、变体、指标、样本量与实际量、结果、决策、学习与后续想法,存放在共享可搜索位置。若基线率未知且无法估计、流量不足以检测 MDE、主指标未定义、多变量变更缺少设计或假设无法清晰表述,应拒绝推进并说明原因。该技能不替代特定环境的验证、测试或专家审查,缺失必要输入、权限、安全边界或成功标准时应停止并请求澄清。相关参考文件路径在资料中标注为 references/n/a 等,未提供实际内容;安装命令、平台与费用信息暂未提供。