SuperAPI AI 工具集

xiaomi-ocr

数据与分析

查看项目

更新于 11-02 16:13

技能介绍

Xiaomi-OCR-0 面向需要在本地完成 OCR、文档解析、关键信息提取(KIE)和 OCR 视觉问答(OCR-VQA)的场景。推理在用户机器上运行,模型权重来自 Hugging Face 的 SeerRay-Lab/Xiaomi-OCR-0 检查点,可搭配 SGLang、vLLM 或实验性的 Ollama 后端。MCP 服务负责提示词、图像/PDF 预处理、可选版面分割、裁剪、并发与输出格式化;使用时调用任务工具,不要自行分步重建这些流程。

主要能力与工具:MCP 提供 ocr_image、ocr_pdf、kie_image、vqa_image 四个工具。

  • ocr_image / ocr_pdf:支持 page(整页)与 region(版面区域)两种模式。印刷体、规整文档建议 mode="region":本地运行 PP-DocLayoutV3 做版面检测与裁剪,并发请求后按阅读顺序合并输出;模型按 OTSL 输出表格,MCP 将其转为 Markdown 中的 HTML 表格并格式化 LaTeX 公式。场景文字、手写、书法、古籍或不规则版面建议 mode="page",避免区域切分破坏行、列或连笔上下文。PDF 可按同样的文档类型建议选择模式,优先使用本地文件路径而非 base64,避免载荷截断。
  • kie_image:已知输出键时传入 fields,MCP 构建 schema 提示词并返回解析后的 JSON;字段留空则做通用键值提取。
  • vqa_image:传入图片和问题,MCP 按简洁答案格式返回。

推理后端选择:优先尊重用户明确指定的后端/模型及精度要求;已有可用本地服务时复用其端点与已配置后端。有受支持 GPU 环境时,精度敏感任务优先用 SGLang 或 vLLM 加载原始检查点;桌面/本地环境不适用时,可用兼容 Qwen3.5 的 Ollama,默认标签 longwayxu/xiaomi-ocr-0:bf16,不要静默替换为量化标签。Ollama 仍属实验性,BF16 权重不代表与 HF 输出一致;若要求与 HF 等价结果,应优先用 SGLang/vLLM,否则需与用户确认精度取舍。运行安装器前需设置 XIAOMI_OCR_BACKEND、XIAOMI_OCR_LOCAL_URL、XIAOMI_OCR_MODEL 三个变量:SGLang/vLLM 用 openai、http://127.0.0.1:8000/v1、SeerRay-Lab/Xiaomi-OCR-0;Ollama 用 ollama、http://127.0.0.1:11434/v1、longwayxu/xiaomi-ocr-0:bf16。示例启动命令: python -m sglang.launch_server --model-path SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --context-length 16384 vllm serve SeerRay-Lab/Xiaomi-OCR-0 --host 127.0.0.1 --port 8000 --trust-remote-code --max-model-len 16384

安装与连接:复用或克隆完整 GitHub 仓库(MCP 会导入其 evaluation_pipeline/ 与 postprocess/ 模块),在 skills/xiaomi-ocr/ 下运行安装器:Codex 用 bash install.sh --agent=codex,其他代理用 bash install.sh。若使用分离的 Skill,需将 XIAOMI_OCR_REPO 指向完整检出目录。install.sh 会创建私有 .venv、下载 requirements.txt 中的包,并在适用时向 Codex 配置注册一个 MCP 条目;其他代理需将生成的 mcp-config.json 条目合并进当前代理的 MCP 设置并重启/重扫。MCP 服务仅连接模型的回环监听地址。

区域模式还依赖 PaddlePaddle/PaddleX:需按官方指南安装兼容的 PaddlePaddle wheel,再用该环境 Python 执行 -m pip install -r <repo>/requirements-paddlex.txt(含 paddlex[cv] 与 shapely,单独 paddlex 不够)。首次使用可能下载 PP-DocLayoutV3 权重;GPU 显存有限时可改用受支持的 CPU 构建并设置 XIAOMI_OCR_LAYOUT_DEVICE=cpu。

使用限制与注意事项:安装前应说明将创建虚拟环境、下载依赖及可能的权重,并在未获授权时征得同意;不要切换到托管端点。连接 MCP 后需用一个真实图片请求验证推理就绪;区域模式需用 mode="region" 的真实调用验证。若平台不支持或安装失败,应报告失败步骤,并保留已可用的整页 OCR、KIE 与 VQA 能力,不得将整页模式当作区域模式呈现。输出时保留模型阅读顺序与 Markdown,不要补全无法识别的内吞,保留模型的不确定性;表格转换与文档组装在 MCP 内部完成,无需另调后处理器。若 MCP 报告本地模型不可用,先检查所配置的服务,再按后端选择与授权规则处理。

适用场景:文档图片/PDF 的文本与表格抽取、表单与票据类关键字段提取、针对文档图片的问答、印刷文档的版面感知解析,以及手写、古籍、不规则版面的整页识别。