SuperAPI AI 工具集

crawlberg-headless-fallback

通用与其它

查看项目

更新于 10-16 08:33

技能介绍

用途:解决无头浏览器才能抓取的页面,例如单页应用外壳、无限滚动、Cloudflare 等 WAF 拦截页、由 JS 渲染的正文。Crawlberg 内置基于 chromiumoxide 的可选 headless Chrome 后端。

主要能力与模式:--browser-mode auto(默认,先静态抓取,遇到 WAF 指纹、SPA 外壳或需 JS 渲染信号时再启动浏览器)、always(跳过静态探测直接走浏览器)、never(仅静态,失败即止)。另可指向外部 CDP 端点:

crawlberg scrape https://example.com --browser-mode always --browser-endpoint ws://browser.internal:9222/devtools/browser/<id> --format markdown

端点须为 ws:// 或 wss:// 的 WebSocket URL。

使用方式:当 markdown.content 过短、仅导航或加载提示,状态码 200 但 headings 为空,或 warnings 提示 JS-render-required/WAF,或出现 403/406/503 与 WAF 响应头时,改用 --browser-mode always 重试。等待策略通过 --config JSON 配置 browser.wait,可选 network_idle(默认)、selector(配合 wait_selector)、fixed,extra_wait 可追加毫秒。可使用持久化配置保留 cookie、localStorage 与登录态。

适用场景:React/Vue/Svelte SPA、需要 script 输出状态的页面,以及在容器或 CI 中无本地 Chrome、希望共享预热浏览器池或使用浏览器侧代理与隐匿配置时,使用外部 CDP。

限制与成本:headless Chrome 比静态抓取昂贵,冷启动约 1-3 秒,每页 500 毫秒至 2 秒,每个标签页占 100-300 MB 内存,长抓取需限制 --concurrent。never 模式下 JS 页面只会返回空或存根内容。资料未提供收费与价格信息。