SuperAPI AI 工具集

firecrawl-crawl

数据与分析

查看项目

更新于 10-15 21:42

技能介绍

用途:从网站批量提取内容,沿链接爬取页面,可限定深度与页数,适合需要某站点大量页面内容(如整个 /docs/ 分区)的场景。它属于工作流升级模式 search → scrape → map → crawl → interact 的第 4 步。

主要能力:支持 --wait 等待完成、--progress 显示进度、--limit 限制页数、--max-depth 限制链接深度、--include-paths 与 --exclude-paths 限定或排除路径、--delay 设置请求间隔、--max-concurrency 设置并发、--pretty 美化输出、-o 指定输出文件。

使用方式:优先通过插件内置的 Firecrawl MCP,使用原生 firecrawl_crawl 工具,并用 firecrawl_check_crawl_status 轮询异步任务,无需本地安装,通过插件一次性浏览器登录认证。MCP 未连接时回退到 CLI,例如:firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json;带深度限制的完整爬取:firecrawl crawl "" --max-depth 3 --wait --progress -o .firecrawl/crawl.json。

限制与提示:需要立即获取结果时应始终加 --wait,否则只返回任务 ID 供异步轮询;建议用 --include-paths 限定范围,避免整站爬取;爬取按页消耗额度,大规模爬取前可用 firecrawl credit-usage 查看用量。相关技能包括 firecrawl-scrape、firecrawl-map、firecrawl-download。