SuperAPI AI 工具集

trustworthy-experiments

通用与其它

查看项目

更新于 10-16 02:32

技能介绍

用途:Trustworthy Experiments 是一套围绕受控实验(A/B 测试)的方法框架,核心问题是把关注点从“实验是否出现正向结果”转向“这个结果是否可信到足以据此行动”。资料指出多数实验失败,部分“成功”结果其实是假阳性,因此框架用于设计实验、计算样本量与运行时长、验证结果并指导上线决策。

主要能力:涵盖设计可产生有效结论的 A/B 测试、确定统计功效所需的样本量与运行时间、在发布决策前验证结果、选择平衡短期收益与长期价值的指标(OEC)、诊断可疑结果(Twyman 定律)、以及在不牺牲有效性的前提下加速实验。给出的模式分为关键、高影响、中等影响三类:关键项包括不要每天查看 P 值、样本比例失衡导致结果无效、功效不足、成功指标选错、结果好得可疑;高影响项包括新奇效应、幸存者偏差、多重比较、护栏指标、大改版多失败、无显著差异就不应上线;中等影响项包括机构记忆、外部效度和方差缩减。

使用方式:资料建议直接将其框架应用到用户的实验上,不运行工具或读取文件,以实验负责人的身份回答;涉及仓库、技能文件等元信息不应出现在回答中。附带可选脚本:scripts/sample_size.py 估算两变体转化测试所需样本量,scripts/srm_check.py 检查两桶分配的样本比例失衡。另有 references/trustworthy-experiments-playbook.md 与 references/experiment-plan-template.md 供深入使用。

适用场景:设计有效的 A/B 测试、确定样本量与运行时长、上线前验证结果、在公司内建立实验文化、选择指标、诊断可疑结果、加速实验。

限制:资料明确列出不适用情形——用户量不足(至少需数万,成熟实验体系需 20 万以上)、一次性决策(无法用 A/B 测试的并购或单一事件)、用户没有真实选择、需要立即决策、指标不可测量。资料未提供具体收费、价格或平台信息。