用途
flarecrawl-ops 是 flarecrawl CLI 的操作技能说明,该 CLI 通过 Cloudflare Browser Rendering 执行网页抓取,定位为兼容 Firecrawl、在规模化下成本更低的方案。它可用于渲染 JavaScript、提取 Markdown/HTML、爬取站点、截图、生成 PDF、AI 抽取结构化数据、识别技术栈指纹以及突破反爬墙。同时附带 MCP 服务器与 CDP 模式,用于持久化、已认证的浏览器会话。
主要能力
抓取与爬取:
flarecrawl scrape URL抓取页面,默认输出 markdown(内容协商,0 浏览器时间),可用--format html切换;--js等待 SPAs 的 networkidle0;--only-main-content剥离导航/页脚。flarecrawl crawl URL --wait --limit 50异步爬站;用--ndjson --fields url,markdown流式输出大结果。flarecrawl map发现单页链接;flarecrawl discover结合 sitemaps、RSS/Atom 和链接;flarecrawl spider直接 HTTP 爬取,不消耗浏览器成本,可断点续爬。flarecrawl fetch URL按内容类型四分支路由(二进制/JSON/原始文本/HTML→CF),XML/CSV/RSS/KML/YAML 原样返回且无需 CF 认证。flarecrawl download、screenshot、pdf、favicon用于保存站点或媒体。
AI 抽取:flarecrawl extract "提示" --urls URL 使用 Workers AI,官方标注为 $0。
技术栈检测(Wappalyzer):flarecrawl tech-detect URL --json 单次 GET、0 CF 时间;支持 --exclude-categories、-i urls.txt --workers 10 批量、--render 额外约 880 个指纹;也可在 scrape/crawl/fetch 上用 --tech-detect 内联。
硬目标与反爬:--paywall --stealth 做增强抽取与 TLS 模拟(需 curl_cffi);--browser local --headed 使用本地 Chromium 并可用 --capture-pattern 捕获 XHR 响应体;--then-fetch-from 从捕获的清单批量下载;P6 铸币→回放模式用本地 Chromium 铸造 cookie 外壳再由 curl_cffi 以真实 JA3/JA4 回放;recipe flow.yml 运行 YAML 多步浏览器流程,可 --dry-run 与 --resume。
CDP 持久化会话:--interactive 可通过 DevTools 登录(OAuth/2FA/CAPTCHA),cookie 自动保存;--cdp --keep-alive、--save-cookies、--har、--load-cookies 等;flarecrawl cdp sessions、cdp close 管理会话。多个 CDP 相关旗标会自动升级为 --cdp。
Agent 安全模式:--agent-safe 使用 13 个净化器、两阶段(HTML+文本)处理对抗内容,移除提示注入(短行偏差 <200 字符),标记但不移除语义操纵,metadata.agentSafety 报告发现项。
批量与并行:scrape 与 extract 支持 --batch/-b 与 --workers/-w;输入可为纯文本(每行一个,#注释)、JSON 数组或 NDJSON;输出为按索引排序的 NDJSON;默认 3 个 worker,最大 50(CF 并发已提升至 120),可用 FLARECRAWL_MAX_WORKERS 覆盖;部分失败不中断。
MCP 服务器(面向智能体):通过 uv pip install 'flarecrawl[mcp]' 安装,flarecrawl mcp 启动 stdio 服务器,--read-only 排除交互类工具。接入 .mcp.json 示例:{"mcpServers": {"flarecrawl": {"command": "flarecrawl", "args": ["mcp"]}}}。36 个工具分四层:Orientation(5 个,如 capabilities、guide、diagnostics)、T1 Composite(5 个,约占 80% 任务,如 read_page、research_web、site_overview)、T2 Curated(17 个单资源操作,如 web_search、tech_detect、crawl_start)、T3 Raw(9 个完整 CLI 保真,如 scrape_raw、p6_raw、spider_raw)。建议先调用 capabilities()。
使用方式
先运行 flarecrawl guide(可加主题如 hard-targets、json、errors、rules、auth,--list 查看主题)作为权威参考;flarecrawl guide 的打包代理参考是事实来源,技能本身是快速地图。用 flarecrawl auth status --json 检查认证(退出码 2 表示未登录,运行 flarecrawl auth login);用 flarecrawl usage --json 检查免费额度(每天 10 分钟即 600,000ms)。抓取时优先使用 --agent-safe,错误返回 {"ok": false, "error": {code, next_steps}},meta.blocked 给出反爬判定与恢复建议(如 Akamai → stealth/p6;CF-1020 → terminal)。
输出解读
data.content 为 markdown 或 HTML,data.elapsed 为抓取秒数;crawl 的 data.records[] 含 .url/.markdown/.status,另有 job_id/total/browser_seconds。metadata.source 显示内容协商还是浏览器渲染,meta.blocked 为反爬墙判定。
适用场景与限制
适用场景包括需要 JS 渲染的页面抓取、站点爬取、结构化抽取、技术栈识别、反爬对抗、需要登录的持久会话,以及通过 MCP 让智能体直接调用工具。限制与注意事项:免费额度为每天 10 分钟、3 个并发浏览器,付费最多 50 worker;crawl 为异步,需 --wait 或轮询 --status,任务在 CF 上保留 14 天;--input 已废弃,改用 --batch;二进制输出(截图/PDF)保存为文件,--json 返回 base64;429/502/503 自动重试 3 次并退避;--cdp、--stealth、--paywall、--browser local、recipe 需要可选依赖(websockets / curl_cffi / playwright / PyYAML)。退出码:0 成功 · 1 错误 · 2 认证 · 3 未找到 · 4 校验 · 5 禁止 · 7 限流。部分功能(视频、authcrawl、frontier、batch、auth login/logout、cache clear、rules *、cdp *、webmcp *、部分 session 子命令、--interactive/--headed)仅在 CLI 可用,属于 MCP 覆盖缺口。