firecrawl-crawl 是 Firecrawl CLI 中负责批量抓取网站内容的命令，核心用途是从一个站点或指定栏目批量提取大量页面，并按照链接关系在深度和数量上限范围内爬取这些页面。
主要能力
- 批量爬取：沿站点链接抓取多个页面，可通过 --max-depth 限制爬取深度。
- 范围限定：使用 --include-paths 把爬取范围限定在某个栏目（如 /docs），避免抓取无关页面。
- 数量控制：使用 --limit 设置页数上限。
- 同步等待：使用 --wait 等待任务完成并直接取回结果；该参数没有默认超时，可用 --timeout <seconds> 限制轮询时长。
- 异步任务：不使用 --wait 时，命令返回 job ID，可后续轮询状态。
- 状态查询：通过 firecrawl crawl <job-id> 查看运行中爬取任务的状态。
- 结果保存：通过 -o 指定输出文件，示例中将结果保存到 .firecrawl/crawl.json。
使用方式（示例）
爬取文档栏目： firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json
带深度限制的完整爬取： firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json
查询运行中的任务状态： firecrawl crawl <job-id>
查看全部选项： firecrawl crawl --help
前置条件与限制
- 爬取需要身份认证，没有免密钥的免费额度；未提供凭据时 CLI 会提示交互式登录。
- 爬取按页面消耗额度，大规模爬取前可用 firecrawl credit-usage 查看用量（该命令同样需要认证）。
- --wait 无默认超时，建议配合 --timeout 使用。
- 完成判定：爬取达到终止状态，且 .firecrawl/ 下保存的输出包含预期页面。
适用场景
适合需要一次性获取某站点或某栏目（如文档目录）下多个关联页面内容的场景，也适合在决定完整爬取前先用 firecrawl-map 发现 URL、用 firecrawl-scrape 抓取单页、用 firecrawl-download 下载站点到本地，或把批量提取能力集成进应用（firecrawl-build-scrape）。