SuperAPI AI 工具集

cvpr-reproducibility

写作与研究

查看项目

更新于 10-31 02:34

技能介绍

用途 该技能用于在投稿 CVPR 前加固论文的可复现性叙述,针对的是评审中常见的“表格无法对齐”问题:某个数据增强开关、裁剪尺寸或预训练语料未写明,导致结果无法复现。它依据 2026 评审周期的机制(截至 2026-07-08 核实)包括计算报告表(Compute Reporting Form,CRF)、匿名补充材料和评审习惯。

主要能力

  1. CRF 作为可复现性最低标准:2026 周期要求每份投稿附 CRF,第 1 节(硬件规格)与第 5 节(核验)为必填,更深部分可选,并有专有约束的豁免路径。技能建议把必填部分当作起点而非上限:硬件部分锁定 GPU 型号、数量与主配置,为“实时”“高效”等声明提供依据;核验部分由作者对数字负责;可选的任务/计算部分给出每个结果的 GPU 小时或 FLOPs,区分 4 卡与 512 卡方法;完整日志提供运行级记录。若贡献点是效率,只填必填部分会削弱自身主张。
  2. 实验配方账本:视觉结果对训练配方敏感,建议从第一次实验起维护机器可读账本,每个表格行对应一个配置块,记录骨干、预训练检查点哈希、数据集版本与划分文件哈希、增强、优化器与调度、批大小、种子与确定性设置、硬件(须与 CRF 第 1 节一致)和训练命令,并据此生成论文实现细节段落。账本也便于在评审追问时快速回答某图由哪套配置产生。
  3. 基准测试规范:明确划分文件;不得在下游测试集上调参,包括会泄漏到架构选择的“只是检查”运行;写明测试集被评估的次数,较稳妥的是验证集消融加一次最终测试;引用指标实现(哪一版 mAP、哪份 FID 代码与特征提取器);披露预训练来源,说明比较类别;说明哪些基线数字引自论文、哪些按自己的协议复跑,并在复跑时对齐骨干与调度。
  4. 视觉规模下的方差:完整多种子网格常不可负担,可采用折中:对低成本决定性实验(小骨干、主消融)多种子并报告均值±标准差;旗舰实验单次运行但明确说明;当表中种子级噪声达 0.4 时,不要把 0.2 的提升当作发现;若评估本身随机(生成、采样式检测),应重复评估。
  5. 确定性设置:在补充材料中用三行说明固定了哪些种子、是否启用确定性内核(未启用时注明速度代价)、可接受的非确定性来源(scatter 原子操作、多 GPU 归约顺序、与工作进程调度相关的增强流水线)以及实际观察到的复现容差。
  6. 声明层面的诚实:可复现性文字即声明面,“代码将发布”是可追踪承诺,“结果可从补充材料复现”可被检验;可用性段落应匹配实际打包内容:补充材料现在提供什么、录用定稿时发布什么(声称作为贡献的数据集届时须公开,2026 政策已核实)、哪些无法发布及原因。
  7. 留出评估服务器:部分视觉基准通过有速率限制的提交服务器评分,报出的测试数字是服务器回执而非可重跑命令;应在账本记录提交 ID 与日期,遵守每周提交上限(为调参烧掉测试提交是公认禁忌),并给出能预测服务器数字的验证集协议。
  8. 每周期重新核实:CRF 结构、必填部分与奖项挂钩、OpenReview 表单可能新增的可复现性清单、限制评审期配方/代码细节的补充材料容量上限(2026 上限暂未提供)。

使用方式 技能以“输出格式”给出结构化诊断:复现等级(配方完整/发现缺口)、CRF 一致性与可选部分填写情况、账本覆盖的表行数(n/m)、基准卫生四项(划分、测试集次数、指标来源、预训练披露)、方差(多种子实验、单次运行标注)、按评审可见度排序的修复清单。用户可据此逐项补齐材料。

适用场景 撰写或自查 CVPR 投稿的实现细节、补充材料、CRF 与代码发布声明;准备应对评审关于训练配方、方差与基准比较的追问;在实验室内部建立从首次实验起的可复现记录流程。

限制 资料只覆盖 CVPR 语境与 2026 周期的部分机制,未提供其他会议政策、具体工具实现、CRF 字段全文或补充材料容量上限(明确标注暂未提供);不保证 GPU 上比特级复现,技能本身只提供记录与披露方法,不执行实验或校验数值。