SuperAPI AI 工具集

paper-fulltext-harvest

写作与研究

查看项目

更新于 10-15 23:43

技能介绍

用途:根据 DOI 列表批量获取学术论文全文,覆盖出版商 TDM API、开放获取聚合器和浏览器回退三类来源。

主要能力:按 DOI 前缀路由到对应客户端;Elsevier 走 TDM XML API,Wiley 走 TDM PDF API,Springer 开放获取走 OA API;其他出版商先尝试 Unpaywall、OpenAlex、Crossref 获取 OA 副本;无 API 的付费出版商可用已登录浏览器回退。支持从 Web of Science savedrecs 解析 DOI、限速与重试、按出版商汇总成功情况、断点续传(每个 DOI 独立目录)。

使用方式:先复制 scripts/.env.example 为 .env 并填写 API 密钥,再运行编排 CLI:python -m auto_paper_download --savedrecs your_export.xls --output-dir ./downloads/ --delay 2.0。Elsevier 大批量可用 python scripts/redownload_elsevier.py --excel papers.xlsx --output-dir ./elsevier_xml/ --resume --long-pause-every 200 --long-pause-sec 300。也可直接实例化 ElsevierClient、WileyClient、UnpaywallClient、OpenAlexClient、CrossrefClient 等客户端。

适用场景:机构订阅下的付费文献批量获取、开放获取论文收集、混合 DOI 列表的自动化下载。

限制:TDM API 需机构 IP 白名单或 VPN,Wiley 需机构签署 TDM 协议;浏览器回退依赖用户真实 Chrome 登录态,速度约 5 秒/篇,可能遇到 Cloudflare 挑战;OA 回退命中率约 40-60%;需校验 PDF 魔数与文件大小,避免 200 状态下的订阅页;大批量运行前应确认机构配额。