用途:为 A/B 实验提供从假设到归档的完整流程,重点在实验设计阶段防止因样本量、指标或提前停止导致的无效结论。
主要能力:按假设模板整理观察、改动、可测结果、受众与护栏指标;区分 A/B、A/B/n、多变量、分流 URL、Bandit 等测试类型,并按影响排序可测内容;要求主指标 1 个、次要指标 2–3 个、护栏指标 1–3 个;提供样本量速查表与时长公式;给出客户端(防闪烁)与服务端(功能开关、确定性哈希分桶)实现方式;强调粘性分配、不可中途改分配;分析时检查样本量、p 值、置信区间、效应量、次要指标、护栏违规与分组差异;用 ICE 评分排优先级;提供实验文档模板。
使用方式:脚本位于 scripts/ 下,保留原命令。
- python scripts/sample_size_calculator.py --baseline 0.05 --mde 0.10
- python scripts/sample_size_calculator.py --baseline 0.12 --mde 0.15 --power 0.9 --daily-traffic 5000
- python scripts/sample_size_calculator.py --baseline 0.05 --mde 0.10 --variants 3 --json
- python scripts/experiment_analyzer.py sample
- python scripts/experiment_analyzer.py results.csv
- python scripts/experiment_analyzer.py results.csv --alpha 0.01 --json
- python scripts/experiment_planner.py --hypothesis "Larger CTA will increase signups by 15%"
- python scripts/experiment_planner.py -H "Simplified checkout boosts conversions" -b 0.08 -m 0.15 -d 3000
- python scripts/experiment_planner.py -H "New pricing page" --json analyzer 输入 CSV 格式:variant,visitors,conversions,segment。
适用场景:产品、设计、文案、定价、社会证明、UX 等变更的效果验证;上线后的优化实验;需要量化决策而非凭意见选方案时。
限制:样本量不足时应提高 MDE 或改用定性方法;最短 7 天、最长建议 6 周;提前查看会显著提高假阳性;多变量需多重比较校正;资料未提供收费、平台支持、具体工具版本及效果保证等信息。