SuperAPI AI 工具集

mandela

测试与质量

查看项目

更新于 10-24 16:19

技能介绍

mandela 是一个针对评估、指标、实验、留出集或基准的泄漏审计工具。它的核心关注点只有一个:验证是否独立,还是设计者、模型与评分者只是在相互确认彼此的结果。

用途

工具以“曼德拉效应”为名——一整个群体自信地记得某件从未独立发生过的事。有泄漏的验证具有相同的形状:所有人都确认一个没有人独立产生过的结果。mandela 用于在验证设计层面识别这种循环性。

主要能力

工具定义了 8 种泄漏模式:

  1. 背诵而非推理:系统背诵记忆中的答案,而不是真正推导出结果,它早已知道本应计算的东西。
  2. 错误的零假设:消融实验只去掉了表面标签,却没有去掉系统实际利用的底层信号,所谓的“对照”仍然泄漏。
  3. 共同幻觉:两个组件互相验证,循环性被报告成一个数字。
  4. 同义反复:评分者给自己划分的桶打分。
  5. 验证者即设计者:以留出集名义包装的、私有的、不可复现的配方。
  6. 共享池偏差:训练集与留出集来自同一个标注者池,同一偏差进入两侧。
  7. 框架注入:提问方式把假设直接递给了被测试对象。
  8. 需求特征:被测量的对象知道自己正在被测量。

使用方式

工作流为:首先识别验证对象(评估、指标、实验、留出集或“我们如何知道”),命名其组件——什么充当模型、评分者、设计者、数据集;然后提出核心问题:外部真值是否独立进入;接着对照全部 8 种模式进行检验(部分模式只适用于特定组件,如人类受试者或评分者),仅报告命中的模式,并逐一按名称列出;最后为每个命中项给出引入独立真值的修复方案。

工具强调只读原则:指出泄漏与独立性修复,但不重写实验。另有规则指出“微妙之处会咬两次”:你可以对输出值进行盲化,却仍然泄漏采集配方。

适用场景

适用于审计任何评估、指标、实验或基准的泄漏问题;对高风险验证,可额外增加一名独立的全新上下文审计者(N=1),仅向其提供验证设计而非本次会话的推理,让其盲测复跑 8 种模式分类法,默认仍为同一会话、只读。

限制

工具为只读审计,不修改或重写实验设计;不提供自动化执行或集成说明;其他平台支持、收费与价格信息暂未提供。