SuperAPI AI 工具集

baseline-selection-audit

写作与研究

查看项目

更新于 10-13 14:46

技能介绍

用途

Baseline Selection Audit 用于机器学习与人工智能研究中的实验基线审查。当用户在规划实验、选择基线或检查 SOTA 对比时,该技能可帮助把研究主张、方法、实验计划草稿或文献地图转化为一套经得起审稿人质疑的基线集合和公平性台账。

适用场景包括:实验正在规划但合适的基线尚不明确;文献综述找到了竞品但尚未转化为对比;论文可能缺少 SOTA、直接竞品、经典方法、消融基线或对照基线;审稿人可能抱怨调参、规模、数据、算力、协议或指标不公平;返修或 rebuttal 需要决定补充哪个基线实验;用户需要论证某个基线为何不可比而被排除。

该技能不用于引用元数据检查。BibTeX 与 LaTeX 正确性应使用 citation-audit;主要问题是缺少参考文献而非缺少对比时应使用 citation-coverage-audit。

主要能力

技能的核心工作是把基线按用途分类,包括:直接概念竞品、最强经验基线、标准基准基线、经典基线、用户方法的前一版本或最近消融、无方法或平凡对照基线、适当的 oracle 或上界诊断基线、资源匹配基线,以及目标会议预期的领域特定基线。

每个候选基线会被赋予且仅赋予一个需求级别:must-have(没有它论文难以辩护)、should-have(显著提升审稿人信心但省略可能可辩护)、optional(有用背景,对接收影响低)、not-comparable(相关但不公平或不能作为直接对比)、citation-only(应讨论或引用但无需实验)。

公平性审计覆盖:相同数据划分与预处理;相同训练数据与额外数据政策;可比的模型规模或显式规模控制;可比的算力或显式计算归一化指标;可比的调参预算;可比的评估指标与解码/采样协议;正确的官方代码或忠实复现;足够的随机种子、置信区间或方差报告;相同的报告单位,如 token、样本、图像、FLOPs、wall-clock、NFE、参数或内存。

技能还会预测审稿人攻击,对每个缺失、薄弱或不公平的基线写出审稿人可能的反对意见,标注 fatal / major / medium / minor 严重程度,并给出缓解方式:run、cite、justify、narrow claim、move to appendix 或 accept risk。

使用方式

技能按步骤执行:

  1. 恢复主张与比较面:收集论文或实验主张、方法、最近基线、目标任务/数据集/基准/指标/协议、目标会议预期、已有结果、文献综述输出、代码可用性与算力预算等,并把主张改写为“我们需要证明 [方法] 在 [任务/协议] 下相对 [比较集] 提升了 [性质],且结果不能被 [混杂因素] 解释”。如果无法写出,则转到其他技能。

  2. 构建候选基线池:基于文献综述、相关工作、基准排行榜、目标会议近期论文、代码仓库、审稿意见等,按分类法归类候选基线。

  3. 分配需求级别:对每个候选基线分配 exactly one 需求级别。每个 must-have 基线需要负责人、实验形式、公平性约束和无法完成时的回退方案。每个 not-comparable 基线需要理由,如任务或数据不同、指标不兼容、代码不可用且复现成本过高、资源机制不同、使用额外监督或数据、公开细节不足以忠实复现、评估不同主张等。

  4. 审计公平性:对每个 must-have 和 should-have 基线检查数据划分、训练数据、模型规模、算力、调参预算、评估指标、代码、种子、报告单位等。若无法公平,则决定改变主张、增加匹配子集比较、运行较小诊断比较、标记为 citation-only 并说明局限,或推迟到 rebuttal 风险。

  5. 预测审稿人攻击:写出审稿人可能的反对意见、严重程度与缓解方式。

  6. 生成实验交接:为 experiment-design-planner 输出选定基线与需求级别、精确对比表行、公平性台账字段、指标与协议约束、消融/对照基线、停止条件、每个基线回答的预期审稿人问题、基线不可行时的回退计划。算力有限时提出分阶段计划:最小可辩护集合、高影响可选补充、附录或延后基线。

  7. 撰写基线审计报告:默认路径为 docs/experiments/baseline_selection_audit_YYYY-MM-DD_<short-name>.md;在代码仓库或由 init-python-project / new-workspace 创建的代码工作树中,优先使用 docs/reports/baseline_selection_audit_YYYY-MM-DD_<short-name>.md。报告包含:受审主张、候选基线池、需求级别表、公平性台账、审稿人攻击预测、选定实验矩阵交接、排除基线及理由、记忆更新部分。

  8. 写回项目记忆:更新 memory/risk-board.md、memory/evidence-board.md、memory/action-board.md、memory/claim-board.md、memory/decision-log.md、worktree .agent/worktree-status.md 及 paper/.agent/ 中最小有用集合。使用确定性标签:verified(已对照一手来源或官方代码检查的基线)、user-stated(用户提供的约束)、inferred(审稿人风险与公平性判断)、unverified(尚未检查的候选)。

技能目录结构为:SKILL.md 与 references/ 下的 baseline-taxonomy.md、fairness-ledger.md、memory-writeback.md、report-template.md、reviewer-risk.md。始终阅读 baseline-taxonomy.md、fairness-ledger.md、reviewer-risk.md;写最终审计前阅读 report-template.md;项目存在 memory/、组件 .agent/ 文件夹或用户要求持久项目记忆时阅读 memory-writeback.md。如果基线集合依赖当前 SOTA、近期并发工作或会议预期,应通过 web 搜索、OpenReview、proceedings、arXiv、PMLR、ACL Anthology、CVF、DBLP、Semantic Scholar 或用户提供的论文进行当前来源验证;无法验证时将基线状态标记为 provisional,并指出最终实验规划前缺失的搜索。

可搭配的技能包括:在 competing paper 地图不完整时先使用 literature-review-sprint;当最近基线改变方法设计时使用 algorithm-design-planner;本技能之后用 experiment-design-planner 将选定基线转为具体实验矩阵;基线范围、公平性规则和停止条件明确后才运行 run-experiment;基线结果令人意外、不稳定或强于所提方法时使用 result-diagnosis;需要把基线风险链接到论文主张、图表和章节时使用 paper-evidence-board;需要跨会话持久保存基线决策、风险与行动时使用 research-project-memory。

核心原则

基线的存在是为了捍卫主张,而不是装饰表格。需要区分最近概念竞品、最强经验基线、标准基准基线、消融基线和对照基线。基线缺失可能是引用目的、对比目的或两者兼有,需要明确指出是哪一种。公平性必须覆盖数据、模型规模、算力、调参、指标、协议、代码可用性与报告。不要要求用户运行所有可能的基线,而应按审稿人影响和决策价值排序。排除基线需要可辩护的理由,通常还需要引用或局限性说明。强基线击败所提方法是项目信息,而不仅是实验失败。输出必须能直接交接给 experiment-design-planner。

最终检查

定稿前确认:每个论文主张至少有一个直接对比或对照;最近概念竞品与最强经验基线没有被混为一谈;must-have 基线明确;被排除基线有可辩护理由;公平性约束具体到可运行;审稿人攻击使用审稿人语言表述;输出可直接输入 experiment-design-planner;存在项目记忆时已更新。

限制

本技能不用于引用元数据检查,BibTeX 与 LaTeX 正确性应使用 citation-audit;主要问题是缺少参考文献而非缺少对比时应使用 citation-coverage-audit。若无法进行当前来源验证,基线状态只能标记为 provisional。关于收费、价格、平台等信息暂未提供。