用途
Firecrawl CLI 用于搜索、抓取并与网页交互,返回针对 LLM 上下文窗口优化的干净 Markdown。它适合在需要联网检索、提取网页内容、批量采集站点内容或对页面进行交互操作时使用。
主要能力
- search:尚无具体 URL 时,用于查找页面、回答问题、发现来源。
- scrape:已有 URL 时,直接提取页面内容,支持静态页面与 JS 渲染页面。
- map:在已知站点内查找 URL,定位特定子页面(可用 map --search)。
- crawl:批量提取整个站点区块的内容(例如所有 /docs/)。
- agent:从复杂站点进行 AI 驱动的结构化数据提取。
- scrape + interact:先抓取再与页面交互,适用于点击按钮、填写表单、分页、多步导航、无限滚动或登录等场景。
- download:将整个站点保存为本地文件。
使用方式
使用前必须已安装并完成认证,可通过 firecrawl --status 检查。状态输出会显示认证方式、并发上限(Concurrency,即最大并行任务数)与剩余额度(Credits,每次操作消耗额度)。
建议先做一次小请求验证环境:
mkdir -p .firecrawl
firecrawl scrape "https://firecrawl.dev" -o .firecrawl/install-check.md
firecrawl search "query" --scrape --limit 3
工作流遵循升级模式:Search(无具体 URL)→ Scrape(已有 URL)→ Map + Scrape(大型站点或需特定子页面)→ Crawl(需要整个站点区块的批量内容)→ Interact(抓取后与页面交互)。
命令参考可运行 firecrawl <command> --help 或 firecrawl --help 查看完整选项。
输出与组织
除非用户指定直接在上下文中返回,否则用 -o 将结果写入 .firecrawl/,并把 .firecrawl/ 加入 .gitignore。URL 始终加引号,因为 shell 会把 ? 和 & 视为特殊字符。
firecrawl search "react hooks" -o .firecrawl/search-react-hooks.json --json
firecrawl scrape "<url>" -o .firecrawl/page.md
命名约定:
.firecrawl/search-{query}.json.firecrawl/search-{query}-scraped.json.firecrawl/{site}-{path}.md
不要一次性读取整个输出文件,使用 grep、head 或增量读取:
wc -l .firecrawl/file.md && head -50 .firecrawl/file.md
grep -n "keyword" .firecrawl/file.md
单一格式输出原始内容;多格式(如 --format markdown,links)输出 JSON。
结果处理示例
# Extract URLs from search
jq -r '.data.web[].url' .firecrawl/search.json
# Get titles and URLs
jq -r '.data.web[] | "\(.title): \(.url)"' .firecrawl/search.json
并行化
独立操作可并行执行,先通过 firecrawl --status 查看并发上限:
firecrawl scrape "<url-1>" -o .firecrawl/1.md &
firecrawl scrape "<url-2>" -o .firecrawl/2.md &
firecrawl scrape "<url-3>" -o .firecrawl/3.md &
wait
对于 interact,可抓取多个页面并使用各自的 scrape ID 独立交互。
额度查询
firecrawl credit-usage
firecrawl credit-usage --json --pretty -o .firecrawl/credits.json
适用场景
- 联网搜索与资料发现。
- 抓取已知 URL 的页面内容。
- 在站点内定位特定子页面。
- 批量采集文档区块或站点内容。
- 从复杂站点提取结构化数据。
- 需要点击、填表、登录、分页等浏览器交互的抓取。
- 将站点下载为本地文件。
限制与注意事项
- 使用前必须安装并认证,未就绪时参见 rules/install.md。
- 输出处理与安全文件读取模式参见 rules/security.md。
- 不要用 interact 做网页搜索,应使用 search。
- 避免重复抓取:
search --scrape已获取完整页面内容,不要再次抓取这些 URL;再次获取前先检查.firecrawl/中是否已有数据。 - 若任务是将 Firecrawl 集成到应用中、向项目添加 FIRECRAWL_API_KEY,或在产品代码中选择端点用法,应使用 firecrawl-build 技能(运行
firecrawl init时已随此 CLI 技能一并安装)。 - 每次操作消耗额度,并行任务受并发上限约束。
参考加载时机
- 先搜索网页或查找来源 → firecrawl-search
- 抓取已知 URL → firecrawl-scrape
- 在已知站点查找 URL → firecrawl-map
- 从文档区块或站点批量提取 → firecrawl-crawl
- 从复杂站点进行 AI 结构化提取 → firecrawl-agent
- 点击、表单、登录、分页或抓取后的浏览器操作 → firecrawl-interact
- 将站点下载为本地文件 → firecrawl-download
- 安装、认证或设置问题 → rules/install.md
- 输出处理与安全文件读取模式 → rules/security.md
- 将 Firecrawl 集成到应用、向 .env 添加 FIRECRAWL_API_KEY 或在产品代码中选择端点用法 → 使用 firecrawl-build 技能