SuperAPI AI 工具集

visit-webpage

通用与其它

查看项目

更新于 10-16 03:16

技能介绍

visit-webpage 用于抓取网页可读内容并以 Markdown 输出,或下载网页中的图片,适合阅读文章、博客、文档,以及从搜索结果或网页链接中提取正文。处理 JavaScript 渲染页面时借助 Jina Reader 服务。

主要能力:从 HTML 页面提取主要内容;将 HTML 转换为干净的 Markdown;支持 JavaScript 渲染页面;按 content-type 自动识别并下载图片到临时文件;对限流(HTTP 451)进行重试;图片最大 5MB;支持 PNG、JPEG、GIF、WebP。

使用方式:运行 {baseDir}/visit.py <url>。抓取 HTML 页面时,Markdown 内容输出到 stdout;抓取图片时,图片下载到临时文件并打印路径,可用 read 工具查看。

可选配置:在 https://jina.ai/ 注册并获取 API key,然后在 shell 配置(如 ~/.profile 或 zsh 的 ~/.zprofile)中添加:export JINA_API_KEY="your-api-key-here"。不配置 API key 时服务仍可用,但受速率限制。

限制:依赖 Jina Reader 处理 JavaScript 渲染;图片有 5MB 上限;未提供 API key 时受速率限制。其他细节暂未提供。