用途:把产品假设转化为统计严谨的实验设计,并解读实验结果,使决策能经受工程负责人或数据科学家的质疑。
主要能力:分两个阶段。设计阶段将假设重述为“若我们[改动],预期[指标]变动 X%,因为[原因]”,明确对照组与实验组,选取唯一主指标与 2-3 个护栏指标,依据最小可检测效应(MDE)与基线计算所需样本量,估算运行天数,并在实验开始前预设成功标准;同时标记新颖效应、季节性混杂、多重检验、网络效应、样本比例不匹配等设计风险。解读阶段评估统计显著性(p < 0.05)、业务实际显著性、置信区间,排查混杂因素,并给出 Ship / Iterate / Kill / Run follow-up test 建议,同时确认测试跑满计划时长、未被提前停止、无样本比例不匹配。
必要输入:设计需假设、当前基线指标值、MDE、每日可用样本量;解读需对照组与实验组数据(原始数值或百分比)、p 值或置信区间、运行天数、期间异常。
限制与注意事项:成功标准须在实验前定义,事后定义属 HARKing,会使实验失效;不得因结果看似显著而提前停止,提前停止会显著抬高假阳性率;统计显著不等于业务显著;同一人群重复实验需做多重检验校正;只能有一个主指标,多主指标需多重假设校正并导致决策模糊。具体收费、平台及使用步骤暂未提供。