SuperAPI AI 工具集

experiment-design

设计与创作

查看项目

更新于 10-15 22:33

技能介绍

用途:在设计和解读实验前提供一套纪律,避免因假设模糊、样本不足、提前查看结果、事后挖掘分段等原因得出不可信结论。适用于即将设计或解读 A/B 测试、多变量测试、留出组等实验的场景。

主要能力:覆盖实验全生命周期,包括实验前准备(是否值得测试)、假设设计(原因、效果、幅度、机制)、样本量与最小可检测效应(MDE)、测试时长(样本量达标与完整周周期取较长者,UI/UX 变更至少 14 天)、运行纪律(不偷看、护栏指标、序贯检验)、结果解读(明确胜出、明确失败、不确定三类)以及基于预承诺规则的决策。框架包含 12 项考量:假设纪律、样本量与 MDE、测试时长、不应做 A/B 测试的情形、分段分析、交互效应、比率指标与方差估计、网络效应与双边市场、序贯检验与偷看问题、预承诺与 p-hacking、结果解读与决策、常见失败与修复。

使用方式:在开始设计或解读实验前阅读相关章节,而非测试运行后再看。假设需包含原因、效果、幅度、机制四部分;只选一个主指标,配三到五个护栏指标;启动前写下主指标、MDE、时长、分段和决策规则,结果出来后机械执行。

适用场景:拥有可用实验平台(如 Statsig、PostHog、GrowthBook、Optimizely、Amplitude、Eppo、Kameleoon 等)和能交付真实处理变更的产品设计与工程流程的团队。

限制:不涵盖功能开关运维机制、统计分析方法深度(如 delta 方法、CUPED、贝叶斯替代方案)以及平台特定工具配置;这些分别属于功能开关技能、实验分析技能和平台官方文档。本技能产出实验设计,平台负责实现。编排层(运行哪些实验、顺序与节奏)见即将推出的 experimentation-platform-orchestrator 技能。资料未提供具体收费、价格或平台支持细节。