SuperAPI AI 工具集

web-scraping-olostep

编程与开发

查看项目

更新于 10-16 08:48

技能介绍

用途:通过 Gooseworks 代理调用 Olostep 的网页抓取、爬虫与 AI 内容提取 API,用于数据采集、内容监控、研究自动化和 SEO 结构分析。

主要能力:Create Scrape(抓取单页,可指定格式、CSS 移除、动作、国家、转换器、解析器等);Create Answer(AI 搜索并浏览网页回答任务,JSON 格式输出,耗时约 3-30 秒);Maps(获取站点全部 URL,支持 glob 包含/排除、子域名与游标分页,复杂站点最长约 120 秒);Start Crawl(从起始 URL 爬取,可设 max_pages、max_depth、包含/排除等,耗时约 1-10 分钟);Start Batch(批量处理,处理时间与批量大小无关);以及 Crawl Info/Pages、Batch Info/Items、Get Answer、Get Scrape、Retrieve Content 等查询接口。

用法:从 ~/.gooseworks/credentials.json 读取凭据,设置 GOOSEWORKS_API_KEY 与 GOOSEWORKS_API_BASE,若凭据不存在需运行 npx gooseworks login。所有端点经 $GOOSEWORKS_API_BASE/v1/proxy/orthogonal/run 以 POST 调用,指定 api 为 olostep 与 path,请求头用 Authorization: Bearer $GOOSEWORKS_API_KEY。

限制:爬取与 Maps 可能耗时较长;部分功能如 metadata 暂未支持;国家、解析器与格式支持范围以官方参数说明为准;收费与配额资料未提供。