SuperAPI AI 工具集

arxiv-paper-processor

写作与研究

查看项目

更新于 10-16 05:47

技能介绍

用途:为研究工作流提供 arXiv 论文的完整处理管线,包括按 arXiv ID 或检索获取论文、下载 PDF 与 LaTeX 源码、提取结构化内容并生成可分析的输出。适合大规模文献分析、从学术文本构建训练数据集、系统综述中的证据抽取等场景。

主要能力:通过 arXiv Atom API 获取元数据(标题、摘要、作者、PDF 链接);下载 LaTeX 源码(通常为 .tar.gz)以获得比 PDF 更高保真的结构;使用 GROBID 对 PDF 做结构化提取,输出 TEI-XML,包含头部元数据、带层级正文、公式、图表引用和带 DOI 的参考文献;直接解析 LaTeX 源码,识别主 .tex 文件、解析 \input{} 与 \include{}、按 \section{} 等提取章节、从 equation/align/gather 环境提取公式、解析 \cite{} 并与 .bib 交叉引用、从 \caption{} 提取图注。最终可生成标准化 JSON,含 arxiv_id、标题、作者、摘要、章节、公式、图表、参考文献和处理日期。

使用方式:按 ID 获取元数据可用 Python 的 urllib 与 feedparser 请求 http://export.arxiv.org/api/query?id_list=...;下载源码可用 wget https://arxiv.org/e-print/<id> -O paper_source.tar.gz 后解压。PDF 解析可本地运行 GROBID:docker run --rm -p 8070:8070 grobid/grobid:0.8.0,再以 curl 调用 /api/processFulltextDocument 接口。批量下载需遵守 arXiv 使用政策:API 调用限每 3 秒 1 次,1000 篇以上使用 arXiv 批量数据访问(S3 或 GCS),本地缓存并避免重复下载,HTTP 请求带描述性 User-Agent。

适用场景与限制:处理多栏排版、数学符号、表格与参考文献解析等常见难点;可做章节级检索、公式库构建、引用图构建、术语追踪和数据集识别,也可生成增强 BibTeX 或导入本地全文检索索引。资料未提供具体收费、平台支持范围或效果保证;实际解析质量取决于论文是否提供 LaTeX 源码及 GROBID 等工具的配置。