用途:通过 Cloudflare Browser Rendering 的 /crawl REST API 爬取整站,将页面内容保存为本地 markdown 文件,便于离线阅读或作为上下文使用。
主要能力:发起异步爬取任务并轮询状态;支持 limit、depth、formats(html/markdown/json)、render、source、maxAge、modifiedSince 等参数;可用 includePatterns/excludePatterns 过滤 URL,支持子域名与外部链接、结构化提取、基础认证、自定义请求头与 cookies;支持增量爬取(modifiedSince)与结果合并为单文件。
使用方式:需具备启用 Browser Rendering 的 Cloudflare 账户,并提供 CLOUDFLARE_ACCOUNT_ID 与 CLOUDFLARE_API_TOKEN(令牌需 Browser Rendering - Edit 权限)。凭据按环境变量、项目 .env、.env.local、~/.env 顺序加载。以 /cf-crawl 调用,首个位置参数为 URL,常用参数包括 --limit、--depth、--include、--exclude、--no-render、--merge、--output、--source、--since。流程为:校验凭据、POST 发起任务、每 5 秒轮询、分页获取 completed 记录、写入输出目录(默认 .crawl-output)。
适用场景:抓取文档站、做每日文档同步的增量更新、静态站点快速抓取、把多页合并为单一 markdown 供上下文加载。
限制:遵守 robots.txt 与 crawl-delay,被阻止的 URL 状态为 disallowed;免费计划每天 10 分钟浏览器时间;任务结果保留 14 天,最长运行 7 天;单页响应上限 10 MB;render:false 更快但不含 JS 渲染内容。具体收费与价格暂未提供。