SuperAPI AI 工具集

sci-papers-downloder

写作与研究

查看项目

更新于 10-16 09:55

技能介绍

用途:把主题、关键词或 DOI 转成已验证的 PDF 文件。提供两种可互换的检索后端、分层下载策略与并发能力。

检索后端:OpenAlex 默认免密钥,覆盖约 2.5 亿条作品,返回元数据与 OA PDF 直链,适用于大多数“查找并下载某主题论文”的请求;Scopus 内置 Elsevier 密钥,仅在用户明确需要 Scopus 索引/引用次数或交叉核对时使用,且为串行、较慢。

主要脚本:openalex_batch_download.py 为默认免密钥端到端运行器;topic_batch_download.py 为 Scopus 端到端运行器;download_open_access.py 为共享下载器,支持 --doi 或 --doi-file;search_openalex.py 与 search_scopus.py 仅检索不下载。

下载分层(自动,遇到首个有效 %PDF 即停止):先试 OA 直链,再按 DOI 查 Unpaywall,最后经 scihub-cli 走 Sci-Hub;Sci-Hub 回退默认开启,可用 --scihub-fallback off 关闭。

安装与配置:唯一必须设置的环境变量是联系邮箱:export UNPAYWALL_EMAIL="<your_real_email>"。Scopus 密钥已内置默认值,可用 --api-key 或 ELSEVIER_API_KEY 覆盖;Sci-Hub 回退需 scihub-cli 在 PATH 中,或通过 uvx 自动引导。

常用用法:python3 skills/sci-papers-downloder/scripts/openalex_batch_download.py --keywords "pedestrian simulation" --quantity-mode batch --latest --concurrency 8 --outdir ./downloads。数量语义:几篇→few,一批/批量→batch,尽可能多→max,明确数字→--target N。新鲜度:最新→--latest(近 3 年并按日期优先排序),最近 N 年→--latest --years-back N,某年以来→--from-year YYYY。--concurrency 默认 8,建议 8–16;--oa-only 默认开启。

限制与预期:金色/绿色 OA 通常很快可下;Cloudflare/JS 屏蔽的出版商(如 10.3390、10.1080)会返回 403,且通常太新而不在 Sci-Hub,预期失败;Sci-Hub 对较老的闭源论文恢复较好,但当年新论文常未收录,每次尝试会耗时数秒至约 20 秒,可用 --scihub-timeout 调整。使用方法与合规责任由使用者承担,严格合法 OA 请传 --scihub-fallback off。