SuperAPI AI 工具集

web-scraping

编程与开发

查看项目

更新于 10-15 21:54

技能介绍

用途:抓取网站、提取结构化数据并自动化浏览器交互,适用于需要抓取、爬取、解析或从网页/URL 拉取数据的任务。

主要能力:整合多个 API。Scrapegraph 支持自然语言提示抽取、输出 schema、搜索抓取、页面转 Markdown、爬站、原始 HTML 抓取与站点地图;Olostep 支持单页抓取、AI 问答、URL 发现、异步爬站、批量抓取;Riveter 支持按定义 schema 做结构化抽取,可指定字段格式与工具;Brand.dev 可获取品牌 Logo、颜色、字体、设计系统、截图及公司数据;Notte 支持需交互、验证码、登录或复杂 JS 渲染的页面抓取,并提供自主 AI 代理执行多步浏览器任务。

使用方式:先从 ~/.gooseworks/credentials.json 读取凭据并导出 GOOSEWORKS_API_KEY 与 GOOSEWORKS_API_BASE;若文件不存在,提示用户运行 npx gooseworks login。所有端点使用 Bearer 认证,通过 $GOOSEWORKS_API_BASE/v1/proxy/orthogonal/run 调用,请求体指定 api 与 path。

适用场景:简单页面抓取、自然语言抽取、结构化字段抽取、品牌资产与截图、批量/爬站任务、需浏览器交互或反爬绕过的页面。

限制:部分任务为异步,需轮询状态;stealth 等参数可能额外消耗 credits;具体收费、价格与平台支持范围资料未提供。