用途:该技能用于从 arXiv 预印本下载并解析 LaTeX 源文件,相比解析 PDF,可保留作者原始的数学公式、章节结构、参考文献条目与图表标题等结构化信息,适合公式提取、引用网络分析、章节级文本分析、可复现性审查及科学语言模型训练数据整理。
主要能力:通过 e-print 端点下载源文件包;检测返回格式(通常为 .tar.gz,少数为单文件 gzip);定位包含 \documentclass 与 \begin{document} 的主 .tex 文件;按正则提取 section、subsection、subsubsection 标题;提取 equation、align 等环境中的公式;解析 .bib 与 .bbl 文件中的参考文献条目;可配合 arXiv Atom API 获取标题、作者、摘要等元数据。
使用方式:下载示例为 curl -sL -o source.tar.gz "https://arxiv.org/e-print/2301.00001",可用 tar tz -f source.tar.gz 查看内容;元数据查询为 https://export.arxiv.org/api/query?id_list={arxiv_id}。无需认证或 API key,但应设置描述性 User-Agent。
限制:自动化访问限速最高每秒 4 次请求,建议每秒 1 次并加延迟;超限返回 HTTP 429,需指数退避;大批量(1000 篇以上)建议改用 arXiv S3 批量数据镜像;持续滥用可能导致 IP 封禁。资料未提供具体计费、价格或平台限制信息。