SuperAPI AI 工具集

product-experiments

通用与其它

查看项目

更新于 10-15 22:09

技能介绍

用途:帮助团队进行严谨的产品实验,通过 A/B 测试和数据驱动学习推动可衡量的增长并降低风险。

主要能力:一是假设定义,引导用户基于用户行为理论撰写清晰、可证伪的假设;二是实验设计,帮助确定指标、样本量和护栏指标;三是统计分析,协助解读 p 值、置信区间和样本比例不匹配(SRM);四是策略评估,依据结果与长期业务影响决定上线、迭代还是放弃。

核心原则:用长期留出组衡量真实增量;将实验主要视为高风险重大变更的风险缓解手段;用总体评估标准(OEC)平衡成功指标与护栏指标;将 80% 至 92% 的失败率视为优化领域的常态;低风险最佳实践可直接上线;对异常好的结果应用 Twyman 定律先查 bug。

提供的模板与框架:跳过实验的三个理由、全饼影响计算(产品 Amdahl 定律)、实验文化五支柱、实验前风险评估问题、长期留出实验方法、注册流程样本量计算示例、失败实验的决策框架(放弃/迭代/上线)、SRM 检查。

使用方式与限制:该技能以引导式问答和框架建议为主,资料未提供具体安装命令或代码实现;具体指标阈值、价格与支持平台暂未提供,需结合自身业务数据判断。