用途:自主解析并从 PDF、DOCX、HTML、Markdown 等格式中提取内容,常用于构建 RAG 管道、提取文本/表格/元数据、批量处理文档集合、转换为结构化格式、处理含表格与复杂版式的 PDF、扫描件 OCR、为向量嵌入分块、搭建文档检索系统。
主要能力:提供多种解析器选择。LlamaParse 为 AI 驱动服务,适合复杂 PDF、扫描 OCR、多栏与论文、财报发票,需 API Key 且为付费服务,有速率限制与网络依赖;Unstructured.io 开源免费、本地运行、多格式支持、元素级分块,需 poppler、tesseract 等系统依赖,复杂版式精度低于 LlamaParse;PyPDF2 纯 Python、轻量快速,适合简单文本 PDF,表格与复杂版式能力弱且无 OCR;PDFPlumber 表格提取与坐标级控制强,速度较慢,依赖 pdfminer.six,无 OCR;python-docx 原生处理 .docx,保留段落、表格与样式,不支持 .doc。
使用方式:仓库包含安装脚本 scripts/setup-llamaparse.sh、scripts/setup-unstructured.sh,功能脚本 scripts/parse-pdf.py、scripts/parse-docx.py、scripts/parse-html.py,模板 templates/multi-format-parser.py、templates/table-extraction.py,示例 examples/parse-research-paper.py、examples/parse-legal-document.py。命令行示例:python scripts/parse-pdf.py document.pdf --backend pdfplumber --tables-only --output tables.json。核心依赖安装:pip install pypdf2 pdfplumber python-docx beautifulsoup4 lxml markdown;Unstructured:pip install unstructured[local-inference],Linux 需 sudo apt-get install poppler-utils tesseract-ocr,macOS 用 brew install poppler tesseract;LlamaParse:pip install llama-parse。
适用场景与限制:适合简单文本 PDF、复杂表格财报、扫描 OCR、Word 文档、HTML 转文本、多格式批量处理、科研论文与法律文书解析、生产 RAG 管道。限制包括:LlamaParse 需付费 API Key 与网络;Unstructured 安装依赖复杂;PyPDF2 与 PDFPlumber 不支持 OCR;python-docx 仅支持 .docx。分块建议 512-1024 token、重叠 10-20%,并校验表格结果、实现回退策略、缓存已解析结果。未提供具体价格与性能数据。