Evidence Grading 是一个用于在决策前评估证据强度的技能。它要解决的问题是:“我们有证据”这句话可能涵盖从随机实验到 CEO 在飞机上邻座的一句话,而基于未分级证据做出的决策会继承这种混乱。该技能的核心纪律是:清点实际支持主张的内容,把每一项放到商业证据层级上(依据它是什么,而不是它感觉多可信),用分级后的权重对照决策的赌注进行检验(可逆的试点比单向的品牌重塑要求更低——决策日志逻辑),当证据不足时,指出成本最低的升级路径——因为应对弱证据的答案通常是一个更好的测试,而不是一次更勇敢的押注。
主要能力
该技能产出以下内容:
- 证据清单:所有支持(以及矛盾)该主张的内容,每一项都在层级上分级。
- 权重评估:分级后的一堆证据实际支持什么,包括对混合信号的诚实解读。
- 充分性裁决:对于该决策的赌注而言是足够/还不够,并展示赌注分析。
- 升级路径:能改变裁决的最便宜的下一步证据(例如“一个为期两周的 holdout 测试花 0 美元就能解决这个问题”)。
所需输入
如果未提供,需要询问以下内容:
- 主张以及依赖它的决策:“用户想要 X”是喂给一个待办事项还是喂给一次重新定位,其充分性门槛不同;决策的可逆性和成本决定门槛。
- 逐项列出的证据:每一份材料——数据拉取、调查、五条客户引述、竞争对手的动作、专家意见——包括那些不方便的项目(省略矛盾证据的清单是辩护而非评估)。
- 证据的来源:样本量 n、选择方式、日期、谁收集的以及有什么激励(来源三角验证提供外部信息;内部证据也有激励)。
框架:分级规则
层级,不带感情地应用:实验/A-B 测试(因果)> 使用/行为数据(人们做什么,相关)> 调查(人们说什么,规模化——调查设计基础质量会调整等级)> 访谈(丰富、小样本——访谈综合计数很重要)> 轶事(仅存在性证明)> 专家意见(有依据的先验)> 内部信念(是假设,不是证据)。每一项获得它的层级以及层级内的质量评级——一个诱导性调查的评级低于诚实的访谈。
方向和独立性都重要:清单包括矛盾证据并给予其自己的等级,并对支持性证据堆进行回声检查(三个可追溯到同一位大声客户身上的轶事只是一个轶事)。权重是净额,诚实地净额。
轶事证明存在,从不证明普遍性:“一位客户要求 X”确立了该需求在某处存在——它不能确立有多普遍;经典的分级错误是从存在性证据得出普遍性结论,这也是该技能最常捕捉到的错误。
充分性是相对于赌注的:裁决用权重对照决策进行检验——可逆且便宜的决策可以合法地基于访谈级证据运行(试点本身就是实验);不可逆且昂贵的决策要求行为或实验级证据。“弱证据”不是裁决;“对这个赌注而言弱”才是。
升级路径是建设性的结尾:当不足时,指出能改变裁决的最便宜的测试——holdout、假门测试、为访谈主题定规模的调查、带指标的试点。按成本与信心的比率排序;该技能的产物往往不是“不”,而是“先做这个 0 美元的两周测试”。
输出格式
证据等级:“[主张]”——喂给[决策]
清单
| 证据 | 层级 | 质量说明(n、选择、日期、独立性) | 方向 |
权重
[分级后的净额实际支持什么,用一段诚实的文字——明确区分存在 vs. 普遍性 vs. 因果]
充分性裁决
[决策的赌注(可逆性 × 成本)· 足够 / 还不够 · 推理]
升级路径
[能改变裁决的最便宜证据 · 成本和时间 · 第二选项]
质量检查
- 每一项都有层级和层级内质量说明
- 矛盾证据以自身等级出现在清单中
- 在称重前已合并回声
- 裁决是相对于赌注的,不是绝对的
- 不足分支以有定价的升级结束,而不仅仅是一个“不”
反模式
- 不要按生动程度分级——令人难忘的轶事在每次会议上都盖过无聊的数据集;层级的存在正是为了抵抗这一点
- 不要从存在性得出普遍性——最常见的分级重罪
- 不要省略不方便的项目——辩护性清单评估的是作者,不是主张
- 不要对可逆赌注要求实验级证据——对便宜决策过度取证本身就是浪费
- 不要止步于“不足”——升级路径是严谨与阻挠之间的区别
示例触发短语
- “我们对这件事的证据有多强?”
- “在决策前给我们知道的东西分级。”
- “这足以押注吗?”