用途:作为内容规范化工具,把 URL 提交给 MinerU 官方 API,轮询任务完成后下载结果 zip,并提取其中的主 Markdown 文件。适用于把 HTML 页面(如微信公众号文章)或 PDF、Office、图片直链转成便于后续处理的 Markdown。
主要脚本:主脚本为 scripts/mineru_parse_documents.py,参数 --file-sources 接受逗号或换行分隔的多个来源,标准输出返回 JSON 契约 { ok, items, errors };单 URL 底层脚本为 scripts/mineru_extract.py。
鉴权:需在技能根目录 .env 中设置 MINERU_TOKEN(mineru.net 的 Bearer token)与 MINERU_API_BASE=https://mineru.net。
模型选择:默认启发式规则是,以 .pdf/.doc/.ppt/.png/.jpg 结尾的 URL 走 pipeline,其余走 MinerU-HTML(更适合 HTML 页面,HTML 必须用 MinerU-HTML)。
常用参数:--model 可选 pipeline、vlm、MinerU-HTML;--ocr/--no-ocr 启用 OCR(对 pipeline/vlm 有效);--table/--no-table 表格识别;--formula/--no-formula 公式识别;--language;--page-ranges(非 HTML);--timeout 600;--poll-interval 2;--emit-markdown 与 --max-chars 可将 Markdown 内联进 JSON。
输出:结果始终下载并解压到 /home/node/.openclaw/workspace/mineru/<task_id>/,包含 result.zip 及解压出的 Markdown、JSON、资源文件;stderr 输出含 task_id、full_zip_url、out_dir、markdown_path 的 JSON 摘要。
限制与失败处理:MinerU 可能因反爬、地域或登录要求无法抓取部分 URL;可改用 HTML 文件或 PDF、长截图,并结合 MinerU 批量上传接口实现上传加解析流程。遇到失败应报告出错的 URL 与 MinerU 的 err_msg,并在输出中保留原始来源链接。