mandela 用于审计一项验证(评估、指标、实验、留出集等)是否存在泄漏,核心问题是:外部真值是否真正独立进入,还是设计者、模型和评分者只是在相互确认一个无人独立产生的结果。其名称取自曼德拉效应:一群人自信地记得从未独立发生的事,泄漏的验证形态相同。
用途:识别验证中的独立性缺陷,并给出引入独立真值的修复方向。工作流程为:识别待验证对象(eval/指标/实验/留出集);命名其组件,即谁扮演模型、评分者、设计者和数据集;追问外部真值是否独立进入;用 8 种模式逐一检验,只报告命中的模式并分别命名;对每个命中给出独立真值修复方案。
8 种泄漏模式:1. 回忆而非推理——背诵已记住的答案,而非真正推导;2. 错误零假设——消融只去掉表面标签而未去掉系统实际利用的信号;3. 共同幻觉——两个组件相互验证,把循环性当成数字报告;4. 同义反复——评分者给自己划定的桶打分;5. 验证者即设计者——以留出集为外衣的私有、不可复现配方;6. 共享池偏差——训练集与留出集来自同一标注池,偏差同时进入两侧;7. 框架注入——问题本身把假设递给了被试;8. 需求特征——被测量对象知道自己正在被测量。
规则:细小泄漏可能造成双重影响,哪怕隐藏了输出值,收集配方仍可能泄漏;工具为只读,仅命名泄漏和独立修复,不重写实验;对高风险验证,可额外增加一名独立的全新上下文审计员(N=1),只向其提供验证设计而非本次推理,以盲测方式重跑 8 模式分类,默认仍为同会话只读。验证时,可将 mandela 用于自身审计:检查是否属于模式 #3–#5,例如评分者给自己划桶、验证者即设计者、裁定与设计自身主张构成共同幻觉,并确认未参加审计的读者能否仅凭所引证据独立得出同一结论;报告应指出根源而非罗列清单。限制:资料未提供具体命令、安装方式、收费与平台信息。