用途:输入 URL,输出干净的 Markdown 格式网页正文,保留标题层级(# ## ###)、超链接文字、图片 URL、列表、代码块与引用块。
主要能力:采用三级降级策略。首选 Jina Reader,通过 web_fetch("https://r.jina.ai/<url>", maxChars=30000) 调用,速度快(约 1.5s)、格式干净,但免费配额约 200 次/天,且微信公众号(403)及部分国内平台会失败。其次使用 Scrapling + html2text,命令为 exec: python3 scripts/fetch.py <url> 30000,无配额限制,效果与 Jina 相当,能读取微信公众号,适合 mp.weixin.qq.com、Substack、Medium 等反爬平台。最后用 web_fetch 直接抓取静态页面兜底,适合 GitHub README、普通静态博客、技术文档。
域名快捷路由:mp.weixin.qq.com 直接用 Scrapling;zhuanlan.zhihu.com、juejin.cn、csdn.net 优先 Scrapling,以跳过 Jina 节省配额。
使用方式:自动模式只需告知要读取的 URL,会自行选择方案;也可手动指定,如“用 Scrapling 读取:<url>”。脚本路径为 scripts/fetch.py,调用方式:python3 ~/.openclaw/workspace/skills/web-content-fetcher/scripts/fetch.py <url> [max_chars]。
依赖安装:pip install "scrapling[fetchers]" html2text --break-system-packages;首次使用需执行 scrapling install 安装浏览器依赖。
限制:同一 URL 累计失败 2 次即放弃并记录为“无法提取”,不重复重试。Jina Reader 存在免费配额限制,超出或失败时依赖 Scrapling。具体支持范围与更多细节以实际运行结果为准。