SuperAPI AI 工具集

structured-scraping-riveter

编程与开发

查看项目

更新于 10-15 21:54

技能介绍

Riveter 是 Gooseworks 生态中的结构化网页抓取工具,核心用途是抓取公开网页并把内容按用户自定义的输出结构提取为数据。

主要能力包括:Scrape 抓取网页并返回文本内容,支持可选代理国家代码与跳过缓存;Run 在单次请求中同时定义输入数据与输出配置,输入为列名到字符串数组的映射(各数组长度需一致,单次最多 1000 行),输出为待提取属性,每个属性可设置 prompt、contexts,以及可选的 format(number、json、url、text、email、tag、date、boolean)、format_details、tools(web_search、web_scrape、query_pdf、query_image)、max_tool_calls(0-10)和 run_when(always、any_filled、all_filled);Run data 获取已完成运行的数据(免费);Run status 查询运行状态(免费);Stop run 停止运行(免费),已停止的运行无法恢复。

使用方式:先从 ~/.gooseworks/credentials.json 读取凭据并导出 GOOSEWORKS_API_KEY 与 GOOSEWORKS_API_BASE;若该文件不存在,需运行 npx gooseworks login。所有端点使用 Bearer 认证,通过 POST $GOOSEWORKS_API_BASE/v1/proxy/orthogonal/run 调用,请求体指定 api 为 riveter 及对应 path。

适用场景包括电商商品数据提取、职位列表收集、新闻聚合、竞品价格监控等。限制方面:输入单次最多 1000 行,max_tool_calls 上限为 10,停止后不可恢复;其余如计费、速率限制等资料未提供。