SuperAPI AI 工具集

ab-test-calculator

测试与质量

查看项目

更新于 10-15 21:09

技能介绍

用途:对 A/B(及 A/B/n)实验做统计显著性检验,并支持实验前的样本量与时长规划、实验后的功效与贝叶斯分析。

主要能力:显著性检验(卡方、比例 Z 检验、T 检验);样本量估算(按基线转化率、最小可检测效应 MDE、功效与显著性水平);功效分析;转化率置信区间;多变量测试(支持 bonferroni、holm 或不做校正);贝叶斯分析(变体优于对照的概率、期望提升与可信区间);测试时长估算。

使用方式:Python 中导入 ABTestCalculator,调用 test_significance、calculate_sample_size、calculate_power、confidence_interval、bayesian_analysis、test_multiple_variants、estimate_duration 等方法。命令行示例:python ab_test_calc.py --test 10000 500 10000 550;python ab_test_calc.py --sample-size --baseline 0.05 --mde 0.10 --power 0.8;python ab_test_calc.py --power-analysis --baseline 0.05 --mde 0.10 --samples 5000;python ab_test_calc.py --bayesian 10000 500 10000 550;python ab_test_calc.py --test-multi 10000 500 10000 550 10000 520。

适用场景:实验前估算所需样本量与运行天数,实验后判断提升是否显著、给出 p 值、提升幅度与置信区间,以及多方案对比选优。

限制:依赖 scipy>=1.10.0、numpy>=1.24.0、statsmodels>=0.14.0;资料未提供安装命令、界面、收费与平台信息,暂未提供。