用途:以自然语言提示词驱动网页数据提取,无需手写 CSS 选择器,覆盖单页提取、AI 搜索、整站爬取、站点地图与 Markdown 转换等场景。
主要能力:SmartScraper 按提示词与 URL 提取指定信息,可传 website_url、website_html 或 website_markdown;SearchScraper 执行 AI 搜索;Scrape 抓取原始 HTML,支持 JavaScript 渲染;SmartCrawler 按 url、prompt、depth、max_pages 等参数爬取并抽取或转 Markdown;Sitemap 自动读取 sitemap.xml 获取全部 URL;Markdownify 将网页转为 Markdown。查询状态类接口免费。
使用方式:先读取 ~/.gooseworks/credentials.json 设置 GOOSEWORKS_API_KEY 与 GOOSEWORKS_API_BASE,若文件不存在需运行 npx gooseworks login;所有请求使用 Bearer 鉴权。调用通过 POST $GOOSEWORKS_API_BASE/v1/proxy/orthogonal/run,请求体指定 api 为 scrapegraph 及对应 path,如 /v1/smartscraper、/v1/searchscraper、/v1/scrape、/v1/crawl、/v1/sitemap、/v1/markdownify;也可用 /search 与 /details 端点查询接口清单与详情。
适用场景:结构化数据提取、多来源调研、电商价格监控、为 LLM 做网页转 Markdown、站点结构分析。
限制:stealth 模式每次加 4 credits;website_html 与 website_markdown 上限 2MB 且与 website_url 互斥;total_pages 默认 1、范围 1-100,number_of_scrolls 默认 0、范围 0-50;render_heavy_js、mock 默认 false。价格、平台覆盖与配额细节暂未提供。