SuperAPI AI 工具集

paper-writing-bench

写作与研究

查看项目

更新于 10-16 03:15

技能介绍

用途:忠实实现 PaperOrchestra(Song 等,2026,arXiv:2604.05018)第 3 节及附录 C、F.2 中 PaperWritingBench 的数据集构建流程。原基准含 200 篇论文(100 篇 CVPR 2025 + 100 篇 ICLR 2025),对每篇论文用附录 F.2 的三个提示词剥离叙事流,反向拆解出 (I, E) 元组。本技能可用于从任意论文 PDF 反向拆解自建基准案例。

主要能力:给定一篇已有 AI 研究论文(PDF 或 markdown 提取文本),产出三份文件——idea_sparse.md(稀疏变体:高层概念笔记,无数学、无实验结果)、idea_dense.md(密集变体:含 LaTeX 公式与变量定义的详细技术方案,仍无实验结果)、experimental_log.md(详尽原始实验设置、数值数据与定性观察,剥离全部叙事引用)。三者构成 paper-orchestra 流水线完整的 (I, E) 输入对。

使用方式:对每篇论文运行三次独立 LLM 调用,分别加载 references/sparse-idea-prompt.md、references/dense-idea-prompt.md、references/experimental-log-prompt.md,将论文文本作为 {paper_content} 传入。输出路径为 bench/<paper_id>/ 下的三个文件。随后选一个变体,连同 experimental_log.md、目标会议 template.tex 与 conference_guidelines.md 放入 paper-orchestra 工作区运行流水线,再用 paper-autoraters 与原文对比(引用 F1、文献综述质量、SxS 论文质量)。

关键规则:三份输出均不得含 \cite、参考文献编号或作者名;剥离所有超链接;匿名化作者、单位与致谢;每份文件须自洽;idea 文件不得泄漏实验内容;实验日志不得引用表/图编号;实验日志数值须 100% 准确。

限制:PDF→markdown 提取需宿主环境自备工具(原文用 MinerU);受控实验可另用 PDFFigures 2.0 单独提取图。其余细节暂未提供。