Dolphin 是“Dolphin: Document Image Parsing via Heterogeneous Anchor Prompting”的官方开源仓库,该论文已被 ACL 2025 接收。项目聚焦文档图像解析任务,目标是应对文档类型多样、文本段落、图表、公式、表格、代码块等元素复杂交织带来的挑战。
用途方面,Dolphin 用于将文档图像解析为结构化结果,支持页面级解析(把整页文档解析为结构化 JSON 与 Markdown 格式)和元素级解析(解析单个文档元素,如文本、表格、公式),同时具备版面解析能力。
主要能力方面,Dolphin-v2 是增强的通用文档解析模型,可处理任意文档类型,无论数字原生还是拍摄文档。它采用文档类型感知的两阶段架构与可扩展锚点提示:第一阶段进行文档类型分类(数字文档与拍摄文档)以及版面分析与阅读顺序预测;第二阶段采用混合解析策略,对拍摄文档进行整体解析,对数字文档进行并行的逐元素解析。Dolphin-v2 升级至 3B 参数,支持 21 类元素检测、属性字段提取、专用公式与代码解析,并增强拍摄文档解析的稳健性。Dolphin-1.5 在保持 0.3B 轻量架构的同时提升了解析效果。项目还具备自然阅读顺序的元素序列生成、面向不同文档元素的异构锚点提示、高效并行解析机制,并支持 Hugging Face Transformers 以便集成。
使用方式方面,安装步骤为:克隆仓库(git clone https://github.com/ByteDance/Dolphin.git,cd Dolphin),安装依赖(pip install -r requirements.txt),下载 Dolphin-v2 预训练模型(可访问 Hugging Face 模型卡,或使用 git lfs install 后 git clone https://huggingface.co/ByteDance/Dolphin-v2 ./hf_model,也可通过 pip install huggingface_hub 后执行 huggingface-cli download ByteDance/Dolphin-v2 --local-dir ./hf_model)。项目提供两种推理框架,并支持两种解析粒度:页面级解析与元素级解析。
适用场景方面,适合需要从数字原生或拍摄文档中提取结构化信息的文档解析任务,包括版面分析、阅读顺序还原、表格/公式/代码等元素解析,以及多页 PDF 文档解析。
限制方面,资料未提供收费、价格、平台支持范围、具体性能数值或使用步骤的更多细节,暂未提供。项目欢迎用户将模型表现不佳的案例提交至 issue,以便持续优化。