用途
ab-test-stats 是一个 A/B 测试统计计算器，用于判断测试结果是否真实、而非随机波动造成。它适用于以下场景：
- 测试分析：判断结果是否具有统计显著性
- 样本规划：在测试前计算所需的样本量
- 时长估算：了解实验需要运行多久
- 功效分析：确保测试能够检测到有意义的差异
主要能力
该技能通过命令行提供三类计算功能：
- 显著性检验：根据对照组与变体组的访问量和转化数，计算 p 值、置信度和结果判定，并给出建议。
- 样本量计算：根据基线转化率和最小可检测效应（MDE），计算每个变体所需样本量及总量。
- 时长估算：根据每日流量、基线转化率和 MDE，估算测试所需天数。
技能本身负责构建分析框架、识别数据模式、创建可视化模板、建议优化方向以及计算统计指标；而指标定义、业务解读、仪表盘设计、行动优先级和决策阈值由用户决定。
使用方式
依赖安装：
pip install scipy numpy click
检查显著性：
python scripts/main.py significance --control 1000,50 --variant 1000,65
python scripts/main.py significance --control 5000,250 --variant 5000,300 --confidence 0.99
计算样本量：
python scripts/main.py sample-size --baseline 0.05 --mde 0.02
python scripts/main.py sample-size --baseline 0.10 --mde 0.01 --power 0.90
估算时长：
python scripts/main.py duration --traffic 1000 --baseline 0.05 --mde 0.02
示例输出包括对照组和变体组的转化率、提升幅度、p 值、置信度、显著性判定以及继续测试的建议。
关键概念
- p 值：结果由随机性造成的概率
- 置信度：1 - p 值，通常希望达到 95% 以上
- 功效：检测到真实效应的概率，通常为 80%
- MDE：最小可检测效应，即值得检测的最小提升幅度
- 提升幅度（Lift）：相对改进，计算公式为 (变体 - 对照) / 对照
显著性判定参考：
- p < 0.01 且置信度 > 99%：高度显著
- p < 0.05 且置信度 > 95%：显著
- p < 0.10 且置信度 > 90%：边际显著
- p ≥ 0.10 且置信度 < 90%：不显著
适用场景与限制
该技能擅长结构化数据分析、识别模式与趋势、创建可视化框架以及计算统计指标。它无法访问用户的实际数据、不能替代统计专业知识、不能代替业务决策，也不保证预测准确性。相关技能包括 cohort-analysis 和 funnel-analyzer。技能元数据：模式为 centaur，类别为 analytics，子类别为 statistics，依赖 scipy、numpy，难度为 intermediate，预计每周可节省 3 小时以上。