Firecrawl CLI 是一个用于网页抓取、爬取与搜索的命令行工具,返回针对 LLM 上下文窗口优化的干净 Markdown,能够处理 JavaScript 渲染、绕过常见屏蔽并提供结构化数据。
安装方式:若未安装,可执行 npm install -g firecrawl-cli。可用 firecrawl --status 检查状态、认证与速率限制,输出中包含并发数与剩余额度信息(并发即最大并行任务数,额度为剩余 API 额度,每次抓取或爬取都会消耗额度)。
认证:若未认证,可运行 firecrawl login --browser,--browser 标志会自动打开浏览器进行认证而无需提示。
组织与输出:建议在工作目录创建 .firecrawl/ 文件夹存放结果,并将其加入 .gitignore。使用 -o 直接写入文件以避免占用上下文。
主要命令包括四类。搜索:firecrawl search "your query" -o .firecrawl/...,支持 JSON 输出、限制结果数、指定来源(web、images、news)、按类别过滤(github、research、pdf)、按时间过滤(qdr:h/d/w/m/y)、按位置与国家定位,并可用 --scrape 对搜索结果启用抓取及指定抓取格式。抓取单页:firecrawl scrape https://example.com -o ...,支持 markdown、html、rawHtml、links、screenshot、json 等格式,可用 --only-main-content 仅提取主体内容、--wait-for 等待 JS 渲染、通过 --include-tags 与 --exclude-tags 筛选或排除标签。爬取整站:firecrawl crawl https://example.com 返回任务 ID,可加 --wait 等待完成、--progress 显示进度,支持 --limit、--max-depth、--include-paths、--exclude-paths、--delay、--max-concurrency 等控制。映射站点 URL:firecrawl map https://example.com -o ...,支持 --search 过滤、--limit、--sitemap 模式、--include-subdomains 与 JSON 输出。此外 firecrawl credit-usage 可查看额度使用情况。
注意事项:抓取输出文件可能超过 1000 行,除非明确要求,不要一次性读取整个文件,建议使用 grep、head 或增量读取。可借助 & 与 wait 或 xargs -P 并行执行多个抓取任务。可与其他工具结合,例如用 jq 从搜索结果 JSON 中提取 URL 或标题。
适用场景包括需要将网页内容转为 LLM 可用的干净 Markdown、批量抓取站点、发现站点全部 URL 以及带内容提取的网页搜索。限制方面,需认证并消耗 API 额度,爬取受并发限制影响;其余未在资料中说明的信息暂未提供。