SuperAPI AI 工具集

pdf-harvester

数据与分析

查看项目

更新于 10-16 01:16

技能介绍

pdf-harvester 是一个 PDF 摄取技能,目标是把 PDF 文档抽取并写入 RAG,覆盖文本提取、表格处理与元数据保留。

主要能力包括:按版面保留的文本提取;表格提取并转换为 markdown;学术论文结构识别(标题、摘要、章节、参考文献);针对扫描件的 OCR;多页分段策略。

使用前需安装依赖:核心提取为 pip install pdfplumber pymupdf;OCR 为 pip install pytesseract pdf2image,macOS 还需 brew install tesseract poppler;若需从 arXiv 获取论文可 pip install arxiv。

提取方式提供三种:Method 1 为 pdfplumber,推荐用于含表格的结构化 PDF;Method 2 为 PyMuPDF(fitz),速度更快,适合大文件并可按字号/加粗检测标题;Method 3 为 OCR,用于扫描版 PDF,可用 is_scanned_pdf 判断是否为图像型文档。

分段策略有三类:按页分块、按章节标题分块、按段落并带重叠分块。提供 extract_academic_paper 处理研究论文的摘要与参考文献。

完整流程通过 harvest_pdf 与 harvest_pdf_url 完成,可按 pages/sections/paragraphs 选择分段策略,支持 is_academic 与 use_ocr 参数,将分块与表格分别入库并返回页数、分块数与表格数等结果。

限制:未提供具体平台、收费或价格信息;OCR 需额外系统依赖;具体入库函数 ingest 的接口未在资料中给出,需自行对接。