用途:当需要基于计算出的 p 值与真实提升度区间来决定是推广、暂缓还是拒绝某个实验变体时使用,典型场景包括营销文案、定价、引导流程、广告创意的 A/B 或多变量测试报告,以及把结果标记为“显著”但未检查提升是否够大的实验看板。
主要能力:scripts/ab_stats.py 针对控制组与一个或多个变体组的结果数据,计算提升度 (variant_mean - control_mean) / control_mean;用带种子的自助重采样(默认 10000 次)计算提升度置信区间;按指标运行显著性检验——metric 为 conversion(0/1 二元结果)时使用两比例 z 检验,metric 为 value(连续结果)时使用手工实现、含并列校正与连续性校正的 Mann-Whitney 秩和检验;随后应用双重发布门槛,返回 PROMOTE、HOLD 或 REJECT 及对应数字。
使用方式:可直接从标准输入读取 JSON 运行,例如 echo '{...}' | python3 scripts/ab_stats.py,或 python3 scripts/ab_stats.py experiment.json。输入字段中 control 与 variants 必填,metric 默认 conversion,alpha 默认 0.05,min_lift 默认 0.15,bootstrap_iterations 默认 10000,seed 默认 1234,confidence 默认 0.95。输出为 JSON,每个变体一个结果块,含 lift、bootstrap_ci、所用检验、z、p_value、decision 与可读原因。判定规则:p_value >= alpha 一律 HOLD;p_value < alpha 且 lift >= min_lift 为 PROMOTE;p_value < alpha 且 lift <= -min_lift 为 REJECT;p_value < alpha 而 lift 介于两者之间为 HOLD,因为样本量足够大时微小提升也可能显著,min_lift 下限用于阻止其被读作胜利。可运行 python3 scripts/test_ab_stats.py 校验,全部断言通过才以 0 退出。
限制:Mann-Whitney 使用正态近似,样本量很小(每组约 n < 10)时与精确置换 p 值会有出入,样本增大后趋近;输入非法(缺字段、类型错误、空数组、conversion 指标下非二元值)时脚本以非零状态退出并向 stderr 报错,不会静默替换默认值或丢弃坏行。关于是否收费、价格与平台支持,资料暂未提供。