用途:Firecrawl CLI 用于网页抓取、搜索、爬取和浏览器自动化,输出为适合 LLM 上下文窗口的干净 Markdown。
主要能力与命令:search 用于尚无具体 URL 时查找页面;scrape 用于已有 URL 时直接提取内容(支持静态页与 JS 渲染的 SPA);map 用于在站点内定位特定子页面;crawl 用于批量提取整个站点区块(如全部 /docs/);agent 用于从复杂站点做 AI 结构化数据提取;browser 用于需要点击、填表、翻页或登录的交互场景;download 用于把整个站点保存为本地文件。
使用方式:先确认已安装并认证,运行 firecrawl --status 查看认证、并发上限与剩余积分。示例:firecrawl search "query" --scrape --limit 3。建议按“搜索→抓取→map+scrape→crawl→browser”的升级顺序选择命令。输出默认可用 -o 写入 .firecrawl/ 目录,并把该目录加入 .gitignore;URL 始终加引号,因为 shell 会把 ? 和 & 当作特殊字符。单格式输出原始内容,多格式(如 --format markdown,links)输出 JSON。不要一次性读取整个输出文件,可用 grep、head 或增量读取。独立操作可并行执行,并发上限见 firecrawl --status;browser 可用 --session <id> 启动独立会话并行操作。积分可用 firecrawl credit-usage 查看。
适用场景:公开的、基于文本的网页内容。
限制:不适用于需登录的墙内容、音频/视频,或已有文本只需压缩的场景;此类情况应改用其他工具。scrape 优先于 browser,browser 不用于网页搜索。search --scrape 已获取完整页面内容,不要重复抓取。详细命令参考可运行 firecrawl <command> --help。