Firecrawl 是一个开源项目,旨在为 AI 代理提供来自网络及更广泛来源的数据,帮助构建超级智能库。它既开源,也作为托管服务提供。
用途: Firecrawl 的主要用途是将整个网站转换为 LLM 就绪的 Markdown 或结构化数据,使 AI 代理和动态应用能够获取实时网络数据。它通过单一 API 实现抓取(scrape)、爬取(crawl)和提取(extract)。
主要能力:
- 行业领先的可靠性:覆盖 96% 的网页,包括 JS 密集型页面,无需处理代理问题,直接获得干净数据(见基准测试)。
- 极快速度:在数百万页面上 P95 延迟为 3.4 秒,专为实时代理和动态应用构建。
- LLM 就绪输出:提供干净的 Markdown、结构化 JSON、截图等,减少 token 消耗,构建更好的 AI 应用。
- 处理复杂问题:自动处理轮换代理、编排、速率限制、JS 阻塞内容等,零配置。
- 代理就绪:通过一条命令将 Firecrawl 连接到任何 AI 代理或 MCP 客户端。
- 媒体解析:解析和提取网络托管的 PDF、DOCX 等文件内容。
- 操作:在提取内容前执行点击、滚动、写入、等待和按键等操作。
- 开源:透明协作开发,可加入社区。
使用方式:
- 在 firecrawl.dev 注册获取 API 密钥,并可在 playground 中测试。
- 搜索网络并从结果中获取完整内容。
- 从任何网站获取 LLM 就绪数据——Markdown、JSON、截图等。
- 抓取页面后,使用 AI 提示或代码与之交互。
- 连接 AI 代理:通过一条命令将 Firecrawl 连接到任何 AI 代理或 MCP 客户端,安装后重启代理即可。适用于 Claude Code、Antigravity、OpenCode 等。任何兼容 MCP 的客户端均可在几秒内连接到网络。
- 代理入门:AI 代理可获取技能来注册用户、获取 API 密钥并开始使用 Firecrawl。查看技能 + CLI 文档获取所有命令;MCP 参见 firecrawl-mcp-server。
- Agent 功能:描述所需内容,AI 代理会搜索、导航并检索,无需提供 URL。Agent 是 /extract 端点的演进,更快、更可靠,且无需预先知道 URL。可使用 schema 获取结构化数据,聚焦特定页面,设置代理在任务上花费的推理量。每个努力级别都运行 spark-2 模型,努力改变的是推理预算而非模型。每次代理运行默认在 spark-2 上执行,无需设置 model。已弃用的 spark-1-pro 和 spark-1-mini 名称仍被接受以向后兼容,但已弃用并运行 spark-2。更多关于 Spark 模型的信息见 Agent 文档。
- 爬取整个网站并获取所有页面的内容:返回作业 ID。注意:SDK 会自动处理轮询,提供更好的开发者体验。
- 即时发现网站上的所有 URL。
- 查找站点内的特定 URL。
- 一次抓取多个 URL。
- SDK 提供便捷方式使用所有 Firecrawl 功能,并自动处理异步操作的轮询。
安装方式:
- 安装 SDK:提供多种语言或平台的安装命令(具体命令未在资料中详细列出,仅提及安装 SDK、添加依赖(Gradle/Maven)、添加依赖)。
- 代理与 AI 工具:Firecrawl 技能目录——使用 npx skills add firecrawl/skills 安装。构建技能(将 Firecrawl 集成到产品代码中)在本仓库的 skills/ 下编写,并由 CI 镜像到目录中。贡献技能:CLI 技能(包括研究/开发者索引技能)→ PR firecrawl/cli;构建/SDK 技能 → PR 本仓库(skills/);工作流技能 → PR firecrawl/firecrawl-workflows。目录(firecrawl/skills)为只读——切勿直接 PR。
- 查看所有集成。
适用场景:
- 为 AI 代理提供实时网络数据。
- 构建需要动态网页内容的 AI 应用。
- 需要从网站提取结构化数据或 Markdown 的场景。
- 处理 JS 密集型页面、PDF、DOCX 等。
- 与各种 AI 工具和 MCP 客户端集成。
限制:
- 开源版本采用 AGPL-3.0 许可证,SDK 和部分 UI 组件采用 MIT 许可证。云版本(firecrawl.dev)包含额外功能。
- 本地运行参见贡献指南,自托管参见自托管指南。
- 最终用户需自行负责在抓取时遵守网站政策,建议遵守适用的隐私政策和使用条款。默认情况下,Firecrawl 尊重 robots.txt 指令。使用 Firecrawl 即表示同意遵守这些条件。
- 资料中未提供具体收费、价格等信息。