用途:对 A/B 测试结果做统计分析,并把结论转化为明确的产品决策。适用于评估实验数据、判断是否上线变体。
主要能力:理解实验假设、变体、主指标与护栏指标、运行时长和流量分配;校验实验设置,包括样本量是否足够(公式 n = (Z²α/2 × 2 × p × (1-p)) / MDE²)、是否低于 80% 功效、是否覆盖 1-2 个完整业务周期、是否存在样本比例失衡(SRM)以及新奇/首因效应;计算对照组与变体的转化率、相对提升 (variant - control) / control × 100、p 值(双尾 z 检验或卡方检验)、95% 置信区间,并区分统计显著性与业务实际意义;检查收入、参与度、页面加载时间等护栏指标是否恶化;最后按结果给出建议:显著正向且护栏无问题则上线,显著正向但有护栏顾虑则调查,不显著但正向则延长测试,不显著且持平则停止,显著负向则不上线并回退分析原因。
使用方式:用户提供 CSV、Excel 或分析导出数据时直接读取分析,必要时生成并运行 Python 脚本完成统计计算;最终输出包含假设、时长、样本量、指标对比表、建议、理由和后续步骤的 Markdown 摘要。
限制:资料未提供具体安装命令、收费方式、支持平台或界面细节;统计结论依赖输入数据的完整性与质量。