用途
该技能为从科学文献中提取结构化数据提供系统化指导，覆盖 PDF、HTML、图片和纯文本四类输入。核心目标是识别输入格式、自动判断科学领域，并按需选用合适的解析工具，最终输出带来源位置和置信度的结构化数据。
主要能力
- 输入格式识别与分流：纯文本使用关键词分析、NLP 实体抽取（spaCy、Stanza）、正则和 LLM 提取；HTML 使用 BeautifulSoup + lxml 解析并识别表格；PDF 按优先级选用 PyMuPDF4LLM、GROBID、Docling、Camelot、Tabula、pdfplumber、Marker-PDF；图片按内容类型分流到 OCR、图表数字化、表格识别或化学结构转 SMILES（OSRA、DECIMER）。
- 领域自动检测：通过化学式、SMILES/InChI、反应箭头、属性关键词（熔点、带隙、电导率、产率、纯度）、IUPAC 命名和光谱数据模式判断化学/材料领域，并推荐 ChemDataExtractor v2、OpenChemIE 等领域工具。
- 分级提取流程：Level 1 快速提取（PyMuPDF4LLM、BeautifulSoup）；Level 2 标准提取（GROBID、Docling、Camelot）；Level 3 深度提取（ChemDataExtractor、OpenChemIE、Marker-PDF OCR）；Level 4 LLM 增强提取，用于复杂图表和模糊数据。
- 多方法验证与置信度评分：主提取、二次提取比对、LLM 定向核验、置信度打分（单方法最高 0.7，两方法一致 0.8，两方法加 LLM 验证 0.9，多方法加 LLM 加数据库交叉引用 0.95 以上），并可选与 Materials Project、AFLOW、PubChem、NIST 等数据库交叉核对。
- 统一输出格式：JSON 包含 extraction_metadata（来源、类型、检测领域、使用工具、时间戳）、extracted_data（数据类型、实体、属性、数值、单位、来源位置、置信度）和 validation_summary（总数、高/中置信度数量、待复核数量、差异列表）。
使用方式
按以下步骤操作：先识别文档类型（扫描版或文本型 PDF）；再根据精度要求选择提取层级；检测是否为化学/材料领域；用对应工具提取文本与结构，表格单独用 Camelot、Tabula 或 pdfplumber 处理；化学内容改用 ChemDataExtractor 等专用工具；最后做二次提取或 LLM 验证，并输出带置信度的 JSON。图表数字化需先评估图像质量、识别图表类型、标定坐标轴，再提取数据点并导出 CSV 或 JSON；表格提取需区分有框线（lattice）与无框线（stream）表格。
适用场景
- 从论文、报告、文档中提取数值数据
- 图表数字化，恢复底层数据点
- 将 PDF 或图片中的表格解析为 CSV、DataFrame、JSON
- 提取化学/材料属性、反应、化合物与结构
- 将非结构化文本转为结构化 JSON 或表格
- 通过多方法交叉验证提高数据可靠性
- 以统一方法批量处理文档
依赖与限制
核心依赖包括 pymupdf4llm、pdfplumber、camelot-py（需 ghostscript）、beautifulsoup4、lxml、spacy、pandas；化学领域需 chemdataextractor、openchemie；可选 tabula-py（需 Java）、GROBID 服务端、Docling、Marker-PDF、Tesseract 或 Surya。限制：扫描文档依赖 OCR，质量受分辨率影响；复杂表格结构（合并单元格、嵌套表头）可能需要人工修正；图表数字化精度受图像分辨率和标定限制；领域工具专用性强，化学工具不适用于生物或物理文本；LLM 提取可能产生幻觉，需验证；受 DRM 保护或纯图片 PDF 可能无法提取。