SuperAPI AI 工具集

pdf-text-extractor

写作与研究

查看项目

更新于 10-16 01:28

技能介绍

用途:当需要比摘要更强的全文证据时,下载论文 PDF(在可获取的情况下)并抽取纯文本,供 paper notes/claims 使用。触发词包括 PDF download、fulltext、extract text、papers/pdfs、全文抽取、下载PDF。

主要能力:读取 papers/core_set.csv,按 outline/mapping.tsv(若存在)优先处理已映射论文;解析 pdf_url 或从 arxiv_id/url 推导,缓存下载到 papers/pdfs/<paper_id>.pdf,抽取文本到 papers/fulltext/<paper_id>.txt,并写入 papers/fulltext_index.jsonl(每篇尝试论文一条记录,含状态与统计)。

使用方式:queries.md 可设 evidence_mode 为 "abstract"(默认,不下载)或 "fulltext"。运行 uv run python .codex/skills/pdf-text-extractor/scripts/run.py --workspace <workspace>。选项包括 --max-papers、--max-pages、--min-chars、--sleep、--local-pdfs-only;queries.md 支持 evidence_mode、fulltext_max_papers、fulltext_max_pages、fulltext_min_chars。

本地模式:无法下载时,把 PDF 按 <paper_id>.pdf 命名放入 papers/pdfs/,设 evidence_mode: "fulltext",运行 --local-pdfs-only;缺失时生成 output/MISSING_PDFS.md 与 papers/missing_pdfs.csv。

限制:默认保守,摘要模式即可满足多数调研,避免大量下载。不覆盖已有抽取文本,除非删除对应 .txt。抽取文本为空或乱码时,可尝试其他后端,否则按摘要级证据处理,避免强全文断言。