用途
该技能用于对 A/B 测试进行严谨的统计分析，帮助团队在实验结束后做出上线（ship）或不上线（no-ship）的决策。典型使用场景包括：实验已结束需要给出上线建议；结果方向看似正向但不确定是否达到统计显著；测试运行数周仍无明确赢家，需要决定是否继续；新实验上线前需要做样本量规划；结果存在争议，需要一份严谨且有记录的分析。
主要能力
分析流程覆盖以下环节：
- 确认实验设计——核对假设、对照组与实验组定义、随机化单位（用户/会话/设备）、主要指标、护栏指标以及目标分流比例。
- 检查样本比例失衡（SRM）——对实际分流与预期分流做卡方检验。若检测到 SRM，应停止并先排查随机化流程，再解读结果。可使用
scripts/ab_test_analyzer.py --check-srm。 - 计算各变体指标——计算每个变体主要指标的比率（或均值）及 95% 置信区间，并记录绝对差与相对差。
- 运行显著性检验——对率使用双比例 z 检验，对均值使用 Welch t 检验，记录 z 值、p 值和效应的 95% 置信区间。若不确定适用哪种检验，可参考
references/statistical_tests_reference.md。 - 检查护栏指标——对每个护栏指标运行相同的显著性检验。任何护栏指标出现显著恶化都是阻断项，无论主要指标结果如何。
- 生成建议——综合 SRM 结果、统计功效、显著性和护栏检查，给出明确的上线/不上线/延长决策，并量化上线后的预期业务影响，记录在
assets/ab_test_report_template.md中。
使用方式
该技能需要以下输入：
- 测试计划或假设文档（变体定义、随机化单位、主要指标）
- 数据，至少包含：user_id、变体分配、主要指标结果
- 可选：每个用户的护栏指标值、用于时间有效性检查的每日聚合数据
- 目标分流比例（例如 50/50）
- 最小可检测效应或“值得上线”的业务阈值
输出包括：
scripts/ab_test_analyzer.py——从 CSV 或汇总统计输入运行 SRM 检查、显著性检验、功效分析和护栏检查references/statistical_tests_reference.md——说明在何种情况下使用哪种检验references/ab_test_design_guide.md——涵盖 SRM 成因、功效规划、偷看（peeking）与多重检验assets/ab_test_report_template.md——结构化报告：设计、结果、检查、建议、预期影响
适用场景
适用于需要规范化、可复现的 A/B 测试统计分析的团队，尤其是涉及上线决策、显著性判断、SRM 排查、样本量规划和结果争议的场景。
限制
资料未提供该技能的具体实现细节、依赖环境、安装命令、支持的输入格式细节、收费或价格信息、平台限制以及实际效果数据，这些内容暂未提供。