SuperAPI AI 工具集

web-scraping

编程与开发

查看项目

更新于 10-16 08:08

技能介绍

用途:抓取网页文本与图片,并下载网络上的图片和文件。适用于现代站点、SPA、商品页等内容获取场景。

主要能力与工具选择:抓取页面文本和图片(含 JS 渲染)用 scrape_page_content,基于无头 Chromium,渲染 JavaScript,返回文本与按尺寸从大到小排序的图片,适合商品页、SPA、动态内容;在简单页面查找图片用 scrape_page_images,仅静态 HTML,速度更快,但会漏掉 JS 加载内容,适合含标准 img 标签的简单页面;下载图片用 download_web_image,下载文件(PDF、doc 等)用 download_web_file。下载图片前应先抓取页面获得真实 URL。

使用方式:先抓取再下载,切勿猜测 CDN URL。下载图片会自动将 WebP 转为 PNG,请求使用浏览器 User-Agent 头以避免 403 拦截。

限制:图片下载上限 10MB,文件下载上限 50MB;scrape_page_content 提取文本上限 15K 字符,以避免上下文膨胀。其余功能细节、收费与平台支持情况暂未提供。