用途:Firecrawl 是面向 AI 的 Web 数据 API,把整站内容转换为便于大语言模型使用的 Markdown 或结构化数据,适用于为 RAG、聊天机器人构建网页知识库,以及批量抽取结构化数据。API 版本为 v2。
主要能力:支持 JavaScript 渲染、反爬绕过、格式转换(markdown、html、screenshot)、截图捕获与无头浏览器自动化。核心端点包括 /v2/scrape(单页抓取)、/v2/crawl(整站爬取)、/v2/map(URL 发现)、/v2/extract(AI 结构化数据提取)。scrape 常用参数有 formats、onlyMainContent、waitFor、actions;crawl 支持 limit、maxDepth、allowedDomains、excludePaths;extract 支持 schema(Zod 或 JSON schema)与 systemPrompt。
使用方式:所有请求需要 API 密钥(在 firecrawl.dev 注册获取,以 fc- 开头),建议通过环境变量 FIRECRAWL_API_KEY 存储,不要硬编码。Python 安装 pip install firecrawl-py(4.5.0+),JavaScript 安装 npm install @mendable/firecrawl-js 或 npm install firecrawl(4.4.1+),用 FirecrawlApp 初始化后调用 scrape_url、crawl_url、extract 等方法。Node.js SDK 要求 Node.js >=22.0.0,且因依赖 axios 无法在 Cloudflare Workers 中运行,Workers 需改用 fetch 直接调用 REST API;自托管 workers-firecrawl 需 Paid 计划且仅实现 /search。长爬取可用 webhook 接收结果。
适用场景:抓取含 JavaScript 的现代网站、从网页构建 RAG 系统、大规模结构化数据提取、需要应对机器人检测的场景。
限制:简单静态 HTML 建议用 cheerio/beautifulsoup,已有 Puppeteer/Playwright 时不必使用,纯 API 数据应直接调用接口;免费额度为每月 500 credits,付费层级更高,credits 消耗因端点与选项而异;API 密钥缺失、超限、超时与 JS 延迟渲染导致内容为空是常见问题,可用 waitFor、actions 等参数缓解。价格与套餐详情暂未提供。