用途:GROBID(GeneRation Of BIbliographic Data)是开源工具,用于把学术 PDF 解析为结构化 XML/TEI,提取元数据、正文、参考文献和图表,弥补 PDF 只记录版面而无语义结构的问题。
主要能力:提供 /api/processFulltextDocument(全文)、/api/processHeaderDocument(仅元数据)、/api/processReferences(参考文献)、/api/processCitation(引用字符串)、/api/processDate(日期字符串)等接口,支持 consolidateHeader、consolidateCitations 等 Crossref 校核参数;输出 TEI XML 可进一步解析标题、作者、摘要、DOI、章节段落和参考文献列表。
使用方式:推荐 Docker 安装并运行服务(默认 http://localhost:8070,控制台 /console):docker pull grobid/grobid:0.8.1;docker run --rm --init --ulimit core=0 -p 8070:8070 grobid/grobid:0.8.1。也可从源码构建:git clone https://github.com/kermitt2/grobid.git,然后 ./gradlew clean install 与 ./gradlew run。调用示例:curl -v --form input=@paper.pdf http://localhost:8070/api/processFulltextDocument -o paper.tei.xml。可用 Python requests 封装客户端并解析 TEI。
适用场景:知识库构建、系统综述、文献分析等需要结构化论文数据的下游流程;大批量处理时建议 4-8 并发,并保存 TEI 与 JSON。
限制:GROBID 不是 OCR,扫描件需先用 Tesseract 等 OCR;对损坏或异常排版 PDF 可能失败,需异常处理并抽样校验;各版本解析精度不同,建议保持更新。价格、平台或更详细收费信息暂未提供。