用途:对已完成的 A/B 测试做统计分析并写出诚实的结果报告,避免仅凭“变体更高”下结论。
主要能力:根据原始计数计算两组比例 z 检验的 p 值、绝对与相对提升以及差异的置信区间;检查护栏指标是否恶化;进行有效性检查(是否按计划样本量运行、有无偷看或提前停止、样本比例是否不匹配、新奇或季节性影响);区分统计显著性与实际显著性;给出上线、不上线、迭代或重跑的建议。
必要输入:指标与数据(转化测试需各变体的用户数与转化数;连续指标需均值、标准差与样本量)、假设与最小有意义效应、护栏指标、测试设置(计划样本量/时长及是否按计划运行)。
输出格式:实验报告包含结果(含计算出的提升、置信区间与 p 值)、结论、护栏、有效性检查、建议五部分。
辅助脚本:scripts/ab_significance.py(仅用标准库)计算双比例 z 检验、p 值、提升与置信区间。命令示例:python3 scripts/ab_significance.py 10000 800 10000 880;加 --json 输出 JSON。
质量要求:提升、p 值与置信区间必须计算而非目测;同时评估统计与实际显著性;检查护栏而非只看主指标;核验是否按计划样本运行、有无偷看或样本比例不匹配;无结论结果应如实报告。
限制:资料未提供付费、平台支持、许可与安装方式等信息;该技能只做频率派分析,不涉及贝叶斯方法或其他统计框架。