SuperAPI AI 工具集

pm-experimentation-ab

通用与其它

查看项目

更新于 10-16 01:49

技能介绍

用途:设计或评审 A/B 测试及受控产品实验,避免样本过小、偷看结果、只看单一指标等导致错误结论的做法。

主要能力:先建立上下文,判断受控实验是否合适、服务于哪个决策及其风险等级;套用通用核心要求——预注册可证伪假设与成功/失败判据、先算样本量再定周期、随机且持久分组、一个主指标加护栏/健康指标、跑满至少一到两个完整业务周期、按预设阈值做迭代/转向/坚持决策并归档学习。

使用方式:先确认基线、最小可检测效应、业务周期与混杂因素;再按风险选择置信度、流量拆分、A/B 与多变量、标准化与自定义指标、领先与长期指标、测试优先级,并给用户选择权。完成后可交由 pm-okr-metric-validity-audit、pm-assumption-rigor-audit、pm-decision-quality-audit 等审计环节复核。

适用场景:流量充足、变化可在行为上观测、问题属于“哪个表现更好”的受控实验。

限制:早期、低流量或宜用定性回答的问题应转向 pm-assumption-testing;多变量需高流量;定价等高风险改动需更高置信度与保守拆分。具体命令与安装方式暂未提供。