experiment-design-review
该技能用于设计并审查产品实验,将高风险产品决策转化为具体、可衡量、可复核的操作文档。它覆盖 A/B 测试、功能灰度发布、定价测试、新手引导测试、生命周期实验、留出组(holdout)、护栏指标、样本量等环节。工作流包括:明确决策、用户分群、变更内容、预期机制、风险、流量来源与可回滚发布路径;阅读实验设计模式参考;拆分假设、主指标、护栏、反向指标、样本需求、资格条件、曝光与分析窗口;选择实验类型(A/B、留出、分阶段发布、切换回、前后对比、定性试点或不测试决策);产出实验规格、埋点计划、决策规则、上线清单与学习复盘。技能强调不得仅凭虚荣参与度判定实验成功,不得在无合格审查下测试不安全、欺骗性、歧视性、侵犯隐私或法律敏感变体,并需警惕新奇效应、季节性、样本污染、重复窥探与分群失衡。