Research Results Auditor 用于在已完成的实验结果被锁定为论文论断之前,产出结构化的有效性结论。它提出的核心问题是:按论文的表述方式,这些证据在科学上是否可辩护。
用途与适用时机 当实验已经完成、结果即将作为论断写入论文时使用本技能。典型触发情形包括:某个结果看起来有说服力,但测量与所述结论之间的联系显得牵强;审稿人很可能追问“还有什么能解释这一结果”;用消融结果把性能提升归因于某个特定组件;类别不平衡、校准或阈值选择可能主导指标;需要在投稿前检查所测内容与论文所声称内容之间的差距。
不适用情形:实验仍在运行或结果尚未定稿时不使用本技能,此时应使用 result-diagnosis 做进行中的诊断与下一步决策;测试选择或方差报告也不属于本技能范围,应使用 statistical-analysis-planner。
配套技能 上游:result-diagnosis 用于在审查有效性之前先解决工程与科学问题;statistical-analysis-planner 用于在审查前确保方差已被刻画。下游:paper-evidence-board 用于用有效性结论更新证据槽;paper-writing-contract-planner 用于收窄或禁止未通过审查的论断。当审查发现需要设计受控实验来排除某个混杂因素时,使用 experiment-design-planner。
技能目录结构 <installed-skill-dir>/ ├── SKILL.md └── references/ └── audit-criteria.md
渐进式加载 始终阅读 references/audit-criteria.md。审查前阅读 memory/claim-board.md 与 memory/evidence-board.md。当论断有面向论文的证据槽时,阅读 paper/.agent/paper-evidence-board.md。
核心原则 审查前先把数据观察与作者解读分开。一个论断的强度取决于其最弱的替代解释。只有当所有其他因素都被控制时,消融结果才能证明组件贡献。基准指标不等同于所声称的真实世界属性。测量与论断之间的距离越大,置信度应越低。审查失败应导致论断收窄,而非沉默。
步骤 1 — 重建论断 对每个待审查结果,用一句话写出:Claim: [方法/组件 X] causes [效果 Y] on [任务/基准 Z], as shown by [指标 M]。然后识别:支持它的产物(实验报告、表格、图、日志);指标 M 实际测量的内容与 Y 所断言的内容;M 与 Y 之间的差距(例如 M = 基准上的准确率,Y = “对分布偏移的鲁棒性”)。如果无法用一句话不带含糊地写出该论断,这本身就是漂移的早期信号。
步骤 2 — 协议完整性检查 阅读 references/audit-criteria.md,对每个论断核查:指标—任务对齐,即指标直接测量所声称属性还是仅作代理;条件可比性,即所有被比较方法是否使用相同数据划分、相同算力预算、相同预处理;消融隔离,即在把增益归因于组件 X 时,是否恰好只改变了一个变量;评估覆盖,即测试集是否代表论断所述范围;可复现性,即结果是否在足够多种子上取平均而稳定(若不满足,使用 statistical-analysis-planner)。将每项违规标记为:blocker(不修复则论断无法按原样成立)、risk(论断可辩护但审稿人很可能提出)、note(在局限性或实验设置中披露)。
步骤 3 — 混杂因素审查 对每个论断列出至少两种替代解释并分类:Alternative: [替代解释];Likelihood: high / medium / low;Ruling-out evidence: [排除它的实验、分析或先前工作];Status: ruled-out / possible / unaddressed。机器学习中常见混杂包括:规模混杂(更大模型、更多参数或更多算力解释增益)、数据混杂(方法在与测试分布重叠的数据上调参)、超参数混杂(基线未公平调参而提出方法调了)、指标混杂(指标奖励某个与所声称属性相关但不等同的属性,如输出长度、置信度校准)、选择混杂(只报告奏效的种子或检查点)。任何未被处理且可能性为高或中等的混杂因素构成审查 blocker。
步骤 4 — 论断漂移检查 比较所测量量与所述结论。若出现以下情况则标记漂移:论文用语暗示的范围超出基准覆盖范围(例如从单一基准得出“通用推理”);把受控实验室结果描述得仿佛可迁移到部署条件;用相对提升百分比支持绝对能力论断;把特定人群或领域的性能推广到所有用户;在没有受控干预的情况下把相关性描述为因果。对每项漂移记录:所测量量、所述结论、漂移类型(scope / generalization / causation / magnitude)、仅凭现有证据的最大可辩护论断。
步骤 5 — 推断质量检查 核查比较性论断是否达到最低统计支持:比较性论断是否报告了不确定区间(标准差、置信区间或范围);若做了多重比较,是否应用了多重比较校正;测试集中的类别不平衡是否影响指标(不平衡数据上的准确率会高估少数类表现);校准是否相关(针对概率输出或置信度加权指标的论断);阈值选择是否影响所报告指标(精确率/召回率/F1 对阈值敏感)。任何未报告不确定性的比较性论断归类为 risk。
步骤 6 — 撰写有效性结论 对每个受审论断产出:Claim: [一句话论断];Protocol verdict: pass | conditional | fail;Confound verdict: clean | possible-[混杂名称] | unaddressed-[混杂名称];Drift verdict: none | scoped-[漂移类型];Inferential verdict: supported | conditional | unsupported;Overall verdict: valid | narrowed | blocked | insufficient-evidence。
Recommended wording: Allowed: [最大可辩护表述] Forbidden: [具体的过度声称用语]
Required actions:
- [解决每项 blocker 或 risk 的行动]
将审查报告保存到 paper/.agent/results-audit-<date>.md。
步骤 7 — 记忆回写 更新 memory/claim-board.md:根据结论收窄或加强论断;更新 memory/risk-board.md:加入混杂与漂移风险及严重程度;更新 memory/action-board.md:为每个 blocker 加入所需行动;更新 paper/.agent/paper-evidence-board.md:用有效性结论标注证据槽。
最终自查 完成前确认:每个主要论断都有一句话重建;每个论断都列出并分类了替代解释;每个 blocker 都有对应行动;审查报告已带日期保存;每个结果的允许与禁止论断用语都已明确。