SuperAPI AI 工具集

reproduce

写作与研究

查看项目

更新于 11-02 16:12

技能介绍

Reproduce 是一个用于从零开始复现机器学习论文的技能。它从 arXiv 链接出发,逐步填补作者未提供的训练脚本、超参数表、数据增强细节和精确数据集划分等缺口,最终生成可衡量的复制运行结果。

用途:当用户表达复现、实现、重跑某篇论文的意图,或提供 arXiv/OpenReview 链接并希望重建方法,或指出论文没有代码需要构建时,使用该技能。

主要能力与工作流:技能按七个阶段顺序执行,每个阶段有独立的参考文件(references/ 目录下)和自己的成功标准,当前阶段通过后才进入下一阶段。

  1. 论文获取:通过命令行和 PDF 提取结构化信息(references/01-paper-fetch.md)。
  2. 现有代码发现与盘点:查找并记录已有代码(references/02-code-clone.md)。
  3. 缺口分析:从论文正文中提取所有缺失的超参数(references/03-gap-analysis.md)。
  4. 实现:使用 uv 创建虚拟环境,填补缺口,每个缺口单独提交(references/04-implement.md)。
  5. 数据集获取:优先使用 Hugging Face 数据集,私有数据可替换(references/05-dataset.md)。
  6. 冒烟运行:前向传播 → 1 步 → 20 次迭代(references/06-smoke.md)。
  7. 复制运行与对比:在论文报告的 epoch 数下进行比较(references/07-replicate.md)。

工作目录布局:每篇论文复现使用独立工作区 repro/<paper-arxiv-id>/,包含 paper.md(结构化提取)、inventory.md(代码盘点)、gaps_filled.md(超参数来源表)、code/(实现代码)、data/(数据集)、dataset_substitution.md(数据替换说明)、smoke_logs/(冒烟日志)和 results.md(复制结果)。

交叉引用:阶段 3 后可将缺口分析交给 paper-verification 技能做往返检查;阶段 4 实现应以小颗粒提交,每个提交引用论文中支持所填值的章节;阶段 6 冒烟失败应转交 /phd-skills:debug 技能处理;阶段 7 启动前需通过 /phd-skills:launch 检查清单;阶段 7 对比应使用 /phd-skills:compare 技能,并在论文报告的 epoch 数下比较。

输出:每次复现的最终产物是 results.md,包含绝对偏差(不仅是百分比),并为每个指标标注三种标签之一:[matched within 0.X pp](在论文报告方差内)、[gap, hypothesis: ...](可衡量的表现不足,附原因假设)、[fundamental disagreement, see X](结果与论文主张不一致,需要调查)。若工作区在公共仓库中,应从项目主复现跟踪文档链接工作区 README。

适用场景:需要复现或复制机器学习论文、论文缺少官方代码或训练脚本、需要系统化填补实现缺口并验证结果时。

限制:资料未提供具体支持的框架、硬件要求、运行时间或收费信息;技能依赖外部引用文件和交叉技能(如 /phd-skills:debug、/phd-skills:launch、/phd-skills:compare),其可用性暂未提供。