用途
firecrawl-crawl 是 Firecrawl 命令行工具中的批量抓取命令，用于从一个网站或某个栏目（如站点的 /docs 目录）出发，沿着页面之间的链接递归抓取多个页面，从而一次性获得分散在多个相互链接页面上的内容。
主要能力
- 批量提取同一站点或某个范围内的多个页面内容。
- 按链接递归抓取，并通过深度、数量等参数限定抓取范围。
- 支持使用
--include-paths将抓取限定在指定路径下，例如只抓 /docs 目录里的页面。 - 支持同步等待结果或异步返回任务 ID 两种模式。
- 抓取结果可输出保存为 JSON 文件，便于后续处理。
使用方式
基本前提：crawl 需要认证，没有免密钥的免费档；如果没有凭据，CLI 会提示进行交互式登录。
抓取某个文档栏目：
# Crawl a docs section
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json
带深度限制的完整抓取：
# Full crawl with depth limit
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json
查看正在运行任务的抓取状态：
# Check status of a running crawl
firecrawl crawl <job-id>
完整选项列表可通过 firecrawl crawl --help 查看。
适用场景
- 需要抓取整个网站或某个栏目下的全部内容时。
- 目标内容跨越多个相互链接的页面，需要批量收集时。
- 希望抓取结果以文件形式保存、供后续处理时。
使用要点与限制
- 需要
--wait才能立即拿到结果。该参数没有默认超时，可用--timeout <seconds>限制轮询时间。 - 不带
--wait时，命令会返回一个任务 ID，需异步轮询状态。 - 当需求明确指定某个栏目时，应使用
--include-paths限定抓取范围，只抓需要的页面。 - 抓取会按页消耗额度，大规模抓取前可用
firecrawl credit-usage查看额度使用情况（该命令同样需要认证）。 - 完成标准：抓取达到终态，且 .firecrawl/ 下保存的输出中包含预期页面。
相关命令
- firecrawl-scrape：抓取单个页面。
- firecrawl-map：在决定抓取前先发现站点 URL。
- firecrawl-download：将站点下载为本地文件（使用 map + scrape）。
- firecrawl-build-scrape：把批量提取能力集成到应用中，而不是在此处直接运行。