用途:构建真实、可追溯的文献语料库,避免编造参考文献或抓取任意出版商页面。默认流程为:缩小主题、检索官方或稳定 API、仅下载合法可访问的 PDF、执行 OCR 或版面解析,最后输出干净的 Markdown 文献库与机器可读元数据。
目录约定:在 Oh My Paper 项目中语料库位于 .pipeline/literature/<corpus-name>/;独立项目使用 research/literature/<corpus-name>/。每个主题或会话一个文件夹,内含 search_results.json、library_index.json、library_index.jsonl 与 papers/。每篇论文一个文件夹,含 metadata.json、paper.pdf 与 ocr/(OCR 输出与 PDF 同目录)。--out-dir 必须指向 .pipeline/literature/<corpus-name>/,不能直接指向 .pipeline/literature/。OCR 完成后需在 literature_bank.md 中记录每篇论文的 ocr/ 路径。
主要能力与用法:按 arXiv ID 下载(已知 ID 时推荐)或按查询检索下载,支持 arxiv、semanticscholar、openalex、hf_daily 等来源;OCR 支持 PaddleOCR API(质量最佳,需设置 PADDLEOCR_TOKEN,不得硬编码)与 pdfminer 回退(仅文本、无版面,需先与用户确认);可生成 library_index.json 与 library_index.jsonl;ingest_literature_library.py 可一次性完成完整摄取流程。
适用场景:需要可追溯文献来源的学术研究、综述写作与论文辅助工作流。
限制:仅下载合法可访问的 PDF;PaddleOCR 需用户提供 token;pdfminer 回退不保留版面;具体收费、价格与平台支持范围资料未提供。