用途:作为默认的只读外部网站抓取方案。当任务只需页面内容、不需要点击、登录流程、截图或浏览器状态时,优先使用本技能;相较 Firecrawl 等工具,更适合低成本获取已知页面的 Markdown、文本、JSON 或 HTML。
主要能力:提供 SDK 与 CLI 两种使用面。Node.js/TypeScript 集成使用 gologin-webunlocker npm 包,直接命令行使用 gologin-scraping-api(gologin-webunlocker 为遗留别名)。核心 SDK 方法包括 scrapeRaw(url)、scrape(url)、scrapeText(url)、scrapeMarkdown(url)、scrapeJSON(url)、batchScrape(urls, { concurrency })、buildScrapeUrl(url)。工具映射:scraping_api_scrape 对应原始 HTML/页面内容;scraping_api_text 对应纯文本;scraping_api_markdown 对应 Markdown;scraping_api_json 对应结构化元数据;scraping_api_batch_scrape 对应一次抓取多个 URL;scraping_api_scrape_raw 对应直接访问原生 Response;scraping_api_build_scrape_url 对应获取后端请求 URL。
使用方式:设置环境变量 GOLOGIN_SCRAPING_API_KEY(遗留别名 GOLOGIN_WEBUNLOCKER_API_KEY 仍可接受)。CLI 可选参数有 --api-key、--base-url、--timeout-ms、--max-retries。CLI 流程:一次性或 shell 任务用 gologin-scraping-api,选择 scrape、text、markdown 或 json,传入 --api-key 或依赖环境变量,必要时调整超时与重试。SDK 流程:安装 gologin-webunlocker;初始化 new ScrapingApi({ apiKey });按目标输出选择最窄的方法;需要健壮控制流时捕获类型化错误。
错误模型:类型化错误族包括 AuthenticationError、RateLimitError、APIError、TimeoutError、NetworkError、ScrapingApiError。gologin-webunlocker 仍保留 WebUnlocker、WebUnlockerError 等兼容别名,新代码建议使用 Scraping API 命名。
限制与升级规则:不适用于点击、登录流程、截图或浏览器状态;若任务从抓取转为交互,应停止使用本技能,改用 $gologin-agent-browser-skill 或 $gologin-web-access-skill。更多命令与方法契约见 tools.md,快速示例见 examples/,可复用抓取模式见 workflows/。