SuperAPI AI 工具集

web-fetcher

通用与其它

查看项目

更新于 10-15 23:32

技能介绍

用途:把任意 URL 抓取为干净的 Markdown,适合需要 JS 渲染或登录才能访问的页面(Twitter/X、知乎、Reddit、微博、小红书等),可替代 WebFetch。

主要能力:分两条路径。已知平台走 OpenCLI,使用用户浏览器登录态,结果确定且不消耗 LLM token;通用 URL(博客、文档、文章)走免费 Markdown 服务链。

已知平台命令示例:x.com 推文用 opencli twitter thread <id>,X Article 用 opencli twitter article <id>;知乎问题用 opencli zhihu question <id>,专栏用 opencli zhihu download <full-url>;Reddit 用 opencli reddit read <full-url>;微博用 opencli weibo search <query>;小红书用 opencli xiaohongshu download <id>;B站用 opencli bilibili download <bvid>。OpenCLI 支持 80+ 平台,可用 opencli --help 与 opencli <platform> --help 查询。

通用回退顺序:Jina Reader(curl -s -H "Accept: text/markdown" "https://r.jina.ai/<url>",质量最好、支持 JS,免费 20 次/分钟)→ defuddle.md(curl -s "https://defuddle.md/<url>")→ markdown.new(curl -s "https://markdown.new/<url>",500 次/天)→ WebFetch(无需配置,但不渲染 JS)。若返回内容少于 500 字符,可能是错误页,应换下一个工具。

OpenCLI 安装:npm i -g @jackwener/opencli;从 https://github.com/jackwener/opencli/releases 下载浏览器扩展,Chrome 打开 chrome://extensions 开启开发者模式,加载已解压文件夹,再用 opencli doctor 验证。

限制:微信公众号经 opencli weixin 部分支持,部分 URL 可能需要代理;OpenCLI 需一次性配置浏览器扩展;Jina Reader 免费额度 20 次/分钟;markdown.new 为 500 次/天/IP。