用途:当任务要求复现某篇研究论文的结果时使用,帮助按方法化流程重现实验并记录差异。
主要能力与流程: 一、论文审计:写代码前提取论文及附录中的全部超参数,记录含糊或缺失的细节,检查是否有官方代码库(GitHub、项目主页、补充材料),确定数据集划分、预处理步骤与评估协议,将发现写入 replication-notes.md。 二、环境搭建:用 pip freeze 或 conda env export 记录精确包版本;尽量使用论文所用框架;为所有实验设置固定随机种子并记录;用 virtualenv、conda 或容器隔离环境。 三、最小复现:从最小实验开始,用能跑通完整流程的最小数据子集,先确认训练循环无误再全量训练,并将中间输出(损失曲线、梯度范数)与论文图表核对。 四、完整复现:按论文报告设置运行主实验,用结构化日志记录结果(seed、config、metric、timestamp),至少跑 3 个种子并报告 mean ± std。 五、差距分析:对比指标(Metric/Paper/Reproduced/Δ),并将差距分类为 Reproduced(噪声内,相对差 < 0.5%)、Close(可由已知含糊处解释)、Discrepancy(明显差距,记录可能原因)、Failed(不匹配,标记待调查)。 六、文档记录:产出 REPLICATION.md,包含论文引用、环境细节、与论文的偏差及理由、结果表、结论(成功/部分/失败复现)。
原则:绝不修改评估代码去迎合论文数值——改模型而非指标;记录每个遇到的含糊点及解决方式;复现失败也是有价值的研究结果。
限制:资料未提供具体工具依赖、安装命令、支持语言或平台要求。