用途:该技能实现一套产品管理框架,帮助团队运行受控实验(A/B 测试),产出可靠、可据以行动的结果。核心视角从“实验是否显示正向结果”转向“这个结果是否可信到足以据此行动”。
主要能力:设计能产生有效结果的 A/B 测试;确定样本量与运行时长以满足统计功效;在做出上线/不上线决策前验证实验结果;在公司内建设实验文化;选择兼顾短期收益与长期价值的指标(OEC);诊断结果可疑的原因(Twyman 定律);在不牺牲有效性的前提下加快实验。
资料中引用的发现:Ronny Kohavi(曾在 Microsoft、Amazon、Airbnb 构建实验平台)指出,66%–92% 的实验未能提升目标指标;仅样本比例不匹配就导致 8% 的实验结果无效;当基础成功率为 8% 时,P 值 0.05 仍意味着 26% 的假阳性风险。
输入要求:关于产品、功能或问题的背景;相关数据、研究或约束(建议但可选);清晰说明想要达成的目标。
不适用场景:用户量不足(资料称至少需要数万用户);一次性决策(如并购无法做 A/B 测试);用户没有真实选择(如雇主强制安装的软件);需要立即决策(实验需要时间);指标无法测量(无可观测结果则无法实验)。
资源:书籍《Trustworthy Online Controlled Experiments》,作者 Ronny Kohavi、Diane Tang、Ya Xu。具体安装命令与调用方式暂未提供。