SuperAPI AI 工具集

firecrawl-crawl

数据与分析

查看项目

更新于 10-15 21:42

技能介绍

用途:批量提取整个网站或某个站点栏目的内容,沿链接爬取页面,可限制深度与页数。适合需要某站点大量页面内容(例如全部 /docs/)或整段栏目内容的场景。在工作流升级模式中属于第 4 步:search → scrape → map → crawl → interact。

主要能力与用法:命令行形式为 firecrawl crawl "<url>",可配合参数控制范围。示例:firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json;全站爬取并限制深度:firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json。查看运行中任务状态:firecrawl crawl。

可用选项:--wait 等待完成后再返回;--progress 等待时显示进度;--limit <n> 最大页数;--max-depth <n> 最大链接深度;--include-paths <paths> 仅爬取匹配路径;--exclude-paths <paths> 跳过匹配路径;--delay <ms> 请求间隔;--max-concurrency <n> 最大并行数;--pretty 美化 JSON 输出;-o, --output <path> 输出文件路径。

提示与限制:需要立即拿到结果时始终加 --wait,否则只返回任务 ID 供异步轮询;用 --include-paths 限定范围,避免整站爬取;爬取按页消耗额度,大规模爬取前可用 firecrawl credit-usage 查看用量。相关技能:firecrawl-scrape 抓取单页,firecrawl-map 先发现 URL 再决定是否爬取。