用途:该技能面向 A/B 测试的设计与分析,用于比较两个版本(对照组 A 与实验组 B)的表现,判断差异是否具有统计显著性,并据此做出数据驱动的优化决策。
主要能力:包含定义成功指标、计算样本量、运行实验、检查假设、执行统计检验、计算效应量与解读结果等步骤。核心概念涉及对照组、实验组、指标、样本量、显著性水平(α=0.05)与统计功效(通常 0.80)。可分析转化率、每用户收入、点击率与用户参与度等指标。
使用方式:资料提供基于 Python 的实现示例,使用 pandas、numpy、scipy、matplotlib、seaborn 等库。示例包含卡方检验(chi2_contingency)分析转化率、独立样本 t 检验(ttest_ind)分析每用户收入、Cohen's d 计算效应量、置信区间计算、样本量估算函数,以及贝叶斯视角的后验分布比较。还包含随时间变化的转化率、收入分布、箱线图与转化对比等可视化,并输出汇总报告。
适用场景:比较产品功能、网页或营销活动的两个版本;优化转化率、点击率或参与度;在统计置信度下做变更决策;确定实验有效性所需样本量;分析干预效果与提升幅度;评估观察到的差异是否显著。
限制:资料未提供具体收费、价格、平台支持范围或安装命令等信息,暂未提供。示例代码为演示用途,实际使用需结合真实数据与实验设计假设。