SuperAPI AI 工具集

headless-fallback

通用与其它

查看项目

更新于 10-16 07:18

技能介绍

用途:部分页面在纯静态抓取下无法获得有效内容,例如 SPA 外壳、无限滚动、Cloudflare 拦截页、JS 渲染的正文。该技能提供可选的 headless Chrome 后端(由 chromiumoxide 驱动)作为回退方案。

模式:--browser-mode auto(默认,先静态抓取,遇到 JS 或 WAF 再回退浏览器)、always(跳过静态直接走浏览器)、never(仅静态,失败即止)。auto 会在检测到 8 类厂商 WAF 指纹(Cloudflare、Akamai、AWS WAF、Imperva、DataDome、PerimeterX、F5 及通用兜底)、SPA 外壳(noscript 警告、近乎空 body 但大量 JS)或启发式 JS 渲染信号时启动 Chrome 重新抓取。需要 script 注入状态、已知 React/Vue/Svelte 站点时用 always。热点循环、无 Chrome 二进制沙箱或明确只要静态时用 never;该模式下纯 JS 页面会返回空内容,需先检查 markdown.content 与 markdown.warnings。

判断信号:内容过短、只有导航或加载提示;状态 200 但标题为空;warnings 提示 JS-render-required 或 WAF;403/406/503 且带 WAF 头(如 server: cloudflare、cf-mitigated、x-amz-cf-id)时可重跑 --browser-mode always。

外部 CDP:crawlberg scrape https://example.com --browser-mode always --browser-endpoint ws://browser.internal:9222/devtools/browser/<id> --format markdown。端点必须是 ws:// 或 wss://,适合容器/CI 无本地 Chrome、共享浏览器池、需要住宅代理或隐身配置的场景。

性能:冷启动 1-3 秒,每页约 500ms-2s 的 NetworkIdle 等待,每个标签页 100-300MB 内存,长抓取需限制 --concurrent。等待策略通过 --config 传入 browser.wait,可选 network_idle(默认)、selector(配合 wait_selector)、fixed,extra_wait 可追加毫秒;持久化配置支持 browser_profile 与 save_browser_profile 以保留 cookie 和登录状态。收费、价格与官方支持范围暂未提供。