SuperAPI AI 工具集

extract-webpage-data

数据与分析

查看项目

更新于 10-16 02:32

技能介绍

用途:从任意网页用 AI 提取结构化数据,把杂乱 HTML 变成整洁、有组织的数据,适合抓取产品信息、联系人、团队信息和内容列表等场景。

主要能力:通过 Gooseworks 代理调用三个后端 API。Olostep 用于通用抓取与网页 AI 问答,支持 markdown、html、text 输出格式及多页爬取;Scrapegraph 用于自然语言提示驱动的 AI 提取;Riveter 用于按预定义 JSON schema 提取。

使用方式:先读取凭据,export GOOSEWORKS_API_KEY=$(python3 -c "import json;print(json.load(open('$HOME/.gooseworks/credentials.json'))['api_key'])");export GOOSEWORKS_API_BASE=$(python3 -c "import json;print(json.load(open('$HOME/.gooseworks/credentials.json')).get('api_base','https://api.gooseworks.ai'))")。凭据文件不存在时提示用户运行 npx gooseworks login。所有端点使用 Bearer 认证:-H "Authorization: Bearer $GOOSEWORKS_API_KEY"。请求统一发往 $GOOSEWORKS_API_BASE/v1/proxy/orthogonal/run,body 中指定 api、path 与参数。Olostep 抓取需 url_to_scrape;Scrapegraph 需 website_url 与 user_prompt;Riveter 需 url 与 schema。

限制:部分站点会阻止自动抓取,可换用其他 API;Olostep 慢页面可能 504 超时;参数缺失返回 400;Scrapegraph 即使 200 也需检查响应中的 error 字段,大页面可能返回 pending,需用 GET /v1/smartscraper/{request_id} 轮询;爬取为异步,需用 GET /v1/crawls/{id} 轮询。资料未提供定价与限额信息。