用途:解决静态抓取拿不到内容的页面,如 SPA 壳、无限滚动、Cloudflare 等 WAF 拦截页、需 JS 渲染的文章正文。Crawlberg 内置基于 chromiumoxide 的可选无头 Chrome 后端。
方式:用 --browser-mode 选择策略。auto(默认)先静态抓取,命中 WAF 指纹(Cloudflare、Akamai、AWS WAF、Imperva、DataDome、PerimeterX、F5 及通用匹配)、SPA 壳(noscript 警告、空 body 带大量 JS)或 JS 渲染信号时再启动 Chrome。always 跳过静态探测,适合已知 SPA 或需 script 内状态时。never 只用静态,启动失败即终止;此时 JS 页面返回空或占位内容,需检查 markdown.content 与 markdown.warnings。
判断信号:内容过短或仅剩加载提示;状态 200 但 headings 为空;警告提示 JS 渲染或 WAF;403/406/503 且带 WAF 响应头。可改用 --browser-mode always 重试。
外部 CDP:用 --browser-endpoint 指向已运行的 Chrome(Browserless、Steel 或自建),必须为 ws:// 或 wss:// 的 WebSocket URL,否则 CLI 报错。适合容器/CI 无本地 Chrome、共享暖浏览器池、需住宅代理或隐身配置的场景。
等待策略:通过 --config JSON 配置 browser.wait,可选 network_idle(默认)、selector(配合 wait_selector)、fixed;extra_wait 追加毫秒。持久化可设 browser_profile 与 save_browser_profile,保留 cookie、localStorage 与登录态,名称经路径穿越校验。
成本与限制:无头 Chrome 冷启动 1–3 秒,每页等待与 JS 加载额外 500ms–2s,每个标签页占用 100–300MB 内存,长时间抓取应限制 --concurrent。缓解方式是保持 auto、用外部端点共享浏览器。具体平台支持、安装方式与费用暂未提供。