SuperAPI AI 工具集

content-extract

办公与效率

查看项目

更新于 10-15 20:06

技能介绍

用途:把“给我一个 URL → 产出可读 Markdown + 可追溯入口”统一为一个入口,供 github-explorer、写作类 skills、日报等后续业务 skill 复用。核心原则包括永远给出可追溯入口(原文 URL + 解析产物路径/链接)、不编造来源、先用低成本 probe 判断能否直接抓取、失败时返回下一步动作建议而非异常栈。

主要能力与工作流:输入 url 后按决策树处理。命中域名白名单(references/domain-whitelist.md,如微信、知乎等高概率反爬/动态站点)时跳过 probe,直接走 MinerU,并强制 model_version=MinerU-HTML。匹配 github.com/{owner}/{repo} 时走 GitHub Fast Path,跳过 probe 与 MinerU,直接用 GitHub API 获取 README、repo 元数据、文件树、Issues 等(Authorization: token {GITHUB_PAT},见 TOOLS.md),返回 engine 为 github-api。否则先 probe:用 web_fetch(url) 拿正文 markdown;判定失败条件包括 403/401、反爬、仅提示“环境异常/验证码/请在微信打开”、内容极短或明显导航页等,此时回退 MinerU 官方 API。

使用方式:需要 MinerU 时调用确定性脚本:python3 /home/node/.openclaw/workspace/skills/mineru-extract/scripts/mineru_parse_documents.py --file-sources "<URL>" --model-version MinerU-HTML --emit-markdown --max-chars 20000。无论走哪条链路都返回统一 Result Contract,包含 ok、source_url、engine(web_fetch、mineru 或 github-api)、markdown、artifacts(out_dir、markdown_path、zip_path)、sources 与 notes。

交付规范与限制:输出必须包含 sources(原文入口 + 解析产物入口);MinerU 成功时须把 markdown_path 写入 sources 以便复查;两条链路都失败须明确失败原因并给出下一步(如提供可访问镜像链接、浏览器 relay 导出 HTML、上传 HTML 文件解析兜底)。本 skill 不运行 MCP Server,避免常驻服务与运维负担;不试图绕过登录/验证码,仅负责解析层与工作流路由。MinerU API 文档见 https://mineru.net/apiManage/docs,输出文件说明见 https://opendatalab.github.io/MinerU/reference/output_files/。