用途:用于评估 A/B 测试结果,并依据统计严谨性给出产品决策建议。
主要能力:
- 理解实验背景:假设、变体改动、主指标与护栏指标、运行时长、流量分配。
- 验证实验设置:按公式 n = (Z²α/2 × 2 × p × (1-p)) / MDE² 检查样本量是否充足,样本不足(检验效能低于 80%)时给出提示;检查是否覆盖至少 1-2 个完整业务周期;检查样本比例失衡(SRM);评估新奇效应/首因效应是否已消退。
- 计算统计显著性:对照组与变体的转化率、相对提升 (variant - control) / control × 100、双侧 z 检验或卡方检验得到的 p 值、差值的 95% 置信区间,并区分统计显著(p < 0.05)与业务实际意义。
- 检查护栏指标:收入、参与度、页面加载时间等是否恶化。
- 结果解读与建议:显著正提升且护栏无问题建议全量上线;显著正提升但护栏有问题建议先调查权衡;不显著但呈正向趋势建议延长测试;不显著且持平建议停止;显著负提升建议不上线并回退分析原因。
- 输出结构化分析摘要,包含假设、时长、样本量、指标表格(对照组、变体、提升、p 值、是否显著)、建议、理由与后续步骤。
使用方式:用户提供实验参数与数据文件(CSV、Excel 或分析导出)后直接读取分析;需要统计计算时生成并运行 Python 脚本;结果以 markdown 保存。
适用场景:产品与增长团队评估实验结论、决定功能上线与否、核对实验设计是否具备足够检验效能。
限制:资料未说明具体运行环境、依赖版本或输入文件格式细节;样本量公式中 p 与 MDE 等参数的具体取值方式暂未提供。