SuperAPI AI 工具集

minicpmvocr-sdk

数据与分析

查看项目

更新于 10-28 07:00

技能介绍

MiniCPM-OCR 1.0 是面向 PDF 与图片的文档解析方案,SDK(minicpmvocr)负责版面检测(PP-DocLayoutV3)、切块、拼接和并发调度,通过 HTTP 调用推理服务完成解析并输出 Markdown。SDK 与推理服务需装在不同 venv 中,避免 numpy、opencv 等依赖冲突。

用途与后端选择:默认方案为 sdk-env 加 vllm-ocr-env 并启用 DSpark 加速;不想编译 vLLM 时可用 tf-ocr-env 的 transformers serve;已有 llama.cpp 或 OpenAI 兼容服务时只装 sdk-env;需要双端逐字验证时再建两套推理环境或合并环境。SDK 可运行在无 GPU 机器上,通过 --server-url 或 SSH 隧道连接远程服务。

安装前需确认显存不少于 24 GB、驱动不低于 580、剩余磁盘不少于 20 GB;vLLM 环境要求 Python ≥ 3.11,SDK 与 transformers 环境要求 ≥ 3.10。SDK 安装包含 paddlepaddle-gpu、paddlex 以及 minicpmvocr 自身的 [all] 依赖,完成后可用 minicpmvocr list-backends 检查 vllm、llamacpp、openai 后端与三种版面 provider 是否可用。vLLM 环境需从 feat-ocr 源码编译,并安装对应 commit 的 transformers;模型需下载 MiniCPM-OCR-1.0 与 DSpark 草稿模型,并准备 PP-DocLayoutV3 Paddle 推理目录。

主要能力:通过 vLLM 的 OpenAI 兼容 API 启动服务(DSpark 版带 --speculative-config,标准版不带投机采样),或用 transformers serve 启动;使用 minicpmvocr parse 搭配 --config(vllm.yaml、openai.yaml、llamacpp.yaml)和 --server-url 解析文档,输出 Markdown。表格应转换为 HTML,公式保留 LaTeX。DSpark 版本可通过 /metrics 中 spec_decode_num_* 指标确认投机采样生效。

适用场景:批量或单页文档解析、图片与 PDF 转 Markdown、在远程服务上做客户端解析、以及按需进行 vLLM 与 transformers 双端一致性验证。

限制与注意事项:DSpark 主模型与草稿模型必须来自同一次发布;vLLM 服务必须带 --trust-request-mm-kwargs,否则请求被拒后 SDK 会重试至超时;通过 openai.yaml 调用时需关闭思考模式,否则输出可能为空或乱码;--set 中的相对路径按配置目录解析,建议使用绝对路径;run 输出目录由 run_tag 决定,重跑需更换标签。双端逐字验证脚本随 feat-ocr 源码提供,SDK 中不含,未实际运行不应声称两端一致。仓库未提供 Web UI 脚本。