SuperAPI AI 工具集

rate-change-significance

数据与分析

查看项目

更新于 10-16 06:16

技能介绍

用途:作为资深数据分析流程,判断两期二值比率变化是否获得统计支持、统计设计是否匹配业务问题、效应是否具有实际意义。覆盖留存、复购、转化、流失、续费等二值结果,支持 first_occurrence、period_active、paired 设计与独立双比例 Z 检验、Fisher 精确检验、McNemar 检验,并涉及重叠/独立性诊断、SRM、置信区间、效应量与功效样本量建议。不负责核对源指标计算是否正确,不处理连续指标(如 ARPU/LTV 均值)、多期预测,也不做多指标/多分组的未校正发现。

使用方式:先解析业务定义,明确场景、A/B 时期、cohort 事件、结果事件、观察窗口、窗口模式、过滤条件与队列设计。仅选择项目时,单项目直接使用,零个或多个需列出后由用户选择。提取前须用 ae-cli 元数据命令校验事件与属性是否存在,标识符以返回结果为准,不确定时询问用户。数据提取按参照模板执行,first_occurrence 重叠结构为 0,period_active 按每期首次出现,paired 需两期均活跃;SQL 标识符 #user_id、$part_event、$part_date 需双引号。样本质量检查包括配对 b+c=0 阻断 McNemar、边界比率用 Fisher、期望单元格 <5 用 Fisher、并发 A/B 的 SRM 硬拒绝停止、period_active 重叠率 ≥30% 自动配对;n<30 为警告非阻断。检验路由:配对或 McNemar 阻断用 McNemar,独立群组边界比率或期望单元格 <5 用 Fisher,否则双比例 Z 检验;McNemar 中 b+c=0 无不一致对、b+c<25 精确二项、否则连续性校正卡方。计算使用 python3 scripts/analyze.py --input job.json --output stats.json,避免手算;相对提升、n_needed、mdd 等在对应用例为 null。解读时区分统计显著性、效应大小、设计限制与样本充分性,不将 p>=0.05 等同无效应、p<0.05 等同业务成功。最终报告需含规定的 7 个部分及头部区块。

限制:不审计源指标计算,不处理连续指标、多期预测与多重比较;前后对比不构成因果;配对设计存在幸存者偏差提示,period_active 存在独立性提示。具体项目事件名、可用的元数据与脚本路径等依赖实际环境,资料未提供。