SuperAPI AI 工具集

xrk-crawl

编程与开发

查看项目

更新于 11-05 18:20

技能介绍

用途 xrk-crawl 是一个网页抓取能力的统一入口模块,业务代码优先从这里导入能力,避免分散调用底层实现。它面向需要开发或排查 HTTP 抓取、SSRF(服务端请求伪造)防护、Playwright 受控浏览器、本地字体增强截图的场景,也用于判断 web_fetch 与 browser 工作流如何选型。

主要能力

  1. HTTP 抓取:fetchWithPolicy 经 lib/net/fetcher.js 导出,提供通用 HTTP 能力(超时、重试、代理)。
  2. 正文提取:runWebFetch 由 web-fetch-executor.js 实现,覆盖正文提取、Readability、Firecrawl 等能力。
  3. 受控浏览器:PlaywrightAgentSession 由 playwright-session.js 实现,支持 JS 渲染、交互与截图。
  4. 截图增强:createLocalFontScreenshotHelper 由 page-screenshot-enhance.js 实现,让截图字体与样式与线上保持一致。
  5. SSRF 防护:ssrf-guard.js 提供 assertUrlSafeForFetch 与 SsrFBlockedError,PlaywrightAgentSession.goto 与 runWebFetch 共用同一校验,另提供别名 assertUrlSafeForBrowserNavigation。

使用方式 业务代码、插件与 stream 统一从 core/system-Core/lib/crawl/index.js 导入,例如 fetchWithPolicy、runWebFetch、buildWebFetchRuntime、assertUrlSafeForFetch、PlaywrightAgentSession、createLocalFontScreenshotHelper、DEFAULT_DEVICE_SCALE_FACTOR、DOM_TWEAK_LABEL_COLON_HALF 等。

选型建议:HTTP 能获取正文时使用 runWebFetch;需要 JS 渲染或生成 PNG 截图时使用 Playwright。PlaywrightAgentSession 常用 API 包括:launch(options)(默认 deviceScaleFactor=2)、using(options, fn)(自动 close)、attachScreenshotHelper(helper)(挂载增强截图助手)、goto(url, { waitUntil, timeoutMs })(含 SSRF 校验的导航)、gotoAndCapture(url, { selector, settleMs, ... })(准备→导航→等待→截图)、captureRegion(selector)(区域截图)、regionText(selector)(读取区域 innerText)。推荐优先使用 using 搭配 gotoAndCapture,不要手写多段截图流程。

目录结构 lib/crawl/ 目录包含 index.js(对外唯一入口)、ssrf-guard.js、web-fetch-executor.js、web-fetch-utils.js、web-fetch-visibility.js、web-shared.js、external-content-wrap.js、playwright-session.js、page-screenshot-enhance.js;lib/net/fetcher.js 提供通用 HTTP 能力,并由 crawl 再导出。已移除的冗余目录包括 lib/openclaw-web/、lib/agent-browser/、nav-ssrf.js。

适用场景 需要以统一入口进行 HTTP 抓取与正文提取、需要受控浏览器渲染页面并截图、需要截图字体样式贴近线上效果、需要为抓取与导航统一加入 SSRF 防护的工程场景。

限制与注意事项 不要 import 已删除的 openclaw-web/、agent-browser/ 路径;不要新建仅做 re-export 的包装文件,扩展应写在 lib/crawl/ 内并在 index.js 导出。stream/web.js 对应 web_fetch,stream/browser.js 对应 browser_* 工具(browser_screenshot 支持 selector)。更多说明可参考 docs/system-core.md 的 web / browser 章节以及 core/system-Core/plugin/lkwg.js。