用途:把 A/B 测试结果整理成一份诚实的决策报告,回答“结果是否真实、幅度是否值得、是否该上线”,并指出 A/B 结果可能骗人的地方。
主要能力:在只给部分结果时也能写出完整报告;若未提供显著性,会依据数字推断并标注还需哪些信息确认;假定数据会被标记;不会在未讨论显著性和样本量的情况下宣布胜出。
必要输入:假设与主指标;结果(对照组与变体组的转化/比率、每组样本量、时长);护栏指标(收入、留存、延迟、投诉等不得回退的指标);若存在,预注册的决策规则(什么算赢)。
输出格式:1)结论一行(上线/不上线/不确定需继续跑,含头条数字);2)结果表(指标、对照、变体、相对提升、是否显著、主指标 p 值/置信区间、护栏指标),说明统计显著性与业务显著性;3)是否真的赢了,讨论样本/功效、偷看、新奇/首因效应、分群;4)分群切分(新客与老客、平台、地区等强/平/负);5)建议与下一步(上线/迭代/重跑,以及上线后监控或后续测试应隔离什么)。
质量检查:区分统计与业务显著性;检查护栏指标而非只看主指标;标记偷看、功效、新奇和分群驱动的胜出;建议须由证据推出并含监控或后续测试;不在功效不足或偷看结果上宣布胜出。
反模式:只说“B 赢了 8%”而无显著性和样本量;提前偷看并上线;主指标上升就忽略护栏回退;把统计显著但业务无意义的提升当胜利。
触发语示例:“分析实验结果”“写 A/B 测试报告”“解读测试数据”“决定是否上线变体”。
限制:资料未提供具体统计方法、支持平台、价格或安装方式。