SuperAPI AI 工具集

experiment

数据与分析

查看项目

更新于 10-16 01:11

技能介绍

用途:为产品假设设计并分析严谨的对照实验,以统计置信度验证因果关系,输出可执行的结论(上线、迭代或放弃)。触发场景包括 A/B 或多变量测试设计、可证伪假设文档、样本量与功效分析、功能开关灰度、结果显著性分析、序贯检验与提前停止、CUPED 方差缩减、SRM 诊断、以及市场/网络效应下的 switchback 或聚类随机化设计。

主要能力:以 PICOT 定义可证伪假设;功效分析(≥80% 功效、5% 显著性);最短运行 7-14 天以覆盖完整周周期;对照组与预注册主指标;需提前停止时使用 anytime-valid 序贯检验(置信序列/mSPRT);分析前进行卡方 SRM 检查(p<0.01)并定位原因;存在实验前协变量时推荐 CUPED/CUPAC(约减少 50% 方差,7 天暴露前窗口,对新用户无效),重尾指标用缩尾但收入由少数大客户主导时不可缩尾;网络效应或干扰场景用 switchback,持续性干扰用聚类随机化与 delta 方法方差;随机单元为用户时优先按用户而非按会话计算指标;必要时定义 OEC 并做多重比较校正(探索性用 Benjamini-Hochberg FDR,验证性用 Bonferroni/Holm);报告含置信区间、效应量与建议;分析前过滤机器人流量,使用服务端或第一方 Cookie 分配。

使用方式:按子命令分派,识别输入首个词激活对应流程——ab(默认)、cuped、switchback、analyze、guardrail、ff、srm、sequential、bayesian;未匹配时默认进入 ab。流程为假设→设计→执行→分析四阶段,参考文件包括 reference/statistical-methods.md、experiment-templates.md、sample-size-calculator.md、feature-flag-patterns.md、switchback-design.md、guardrail-metrics.md、feature-flag-experiments.md、srm-detection.md、sequential-testing.md、bayesian-ab.md。

适用场景:SaaS、电商、移动端、仪表盘、市场的实验设计、功能开关灰度(1/5/25/50/100%)、指标护栏与护栏违规告警、结果解读与 Go/No-Go 判断。

限制:不得在无 alpha 消耗的情况下提前偷看并停止,不得中途修改参数,不得在同一人群运行重叠实验而不做交互分析,不得忽视护栏违规,不得无正确设计就声称因果,不得 HARKing,多变量或多指标需做多重比较校正,聚合层结论需做分群验证以避开辛普森悖论。安装命令、具体价格与平台支持情况资料未提供。