SuperAPI AI 工具集

firecrawl

编程与开发

查看项目

更新于 10-15 23:59

技能介绍

Firecrawl 是面向网页抓取、搜索与浏览器自动化的命令行工具,能把网页内容转成适合 LLM 上下文窗口的干净 markdown,命令帮助可用 firecrawl --help 或 firecrawl <command> --help 查看。使用前必须安装并完成认证,用 firecrawl --status 检查,可看到并发上限、剩余额度等信息;未就绪时按安装说明处理。

主要能力:search 做网页搜索并可附带抓取;scrape 抓取一个或多个 URL(支持静态页与 JS 渲染页,可仅提取正文、等待 JS 渲染、指定输出格式);map 发现站点内 URL 并可按关键词过滤;crawl 批量抓取整站或某个栏目(如全部 /docs/);agent 用 AI 做自主结构化数据提取;browser 在云端沙箱 Chromium 中交互页面(点击、填表、翻页、登录);download 组合 map 与 scrape 把整站保存为本地文件;credit-usage 查看额度。

常用方式:先 search 找页面,再 scrape 获取内容;大型站点用 map 定位子页再 scrape;整栏目用 crawl;内容需要点击、表单、翻页或登录时改用 browser。搜索结果已附带抓取时不要重复抓取,重复请求前先检查 .firecrawl/ 目录。输出建议用 -o 写入 .firecrawl/ 并加入 .gitignore,URL 需加引号。不要一次性读取整个输出文件,可用 grep、head 或分段读取。单格式输出原始内容,多格式输出 JSON。可并行执行独立任务,但需遵守 --status 显示的并发上限。浏览器会话支持 profile,登录后可关闭再按名重连以复用登录态;出现 forbidden 错误可能需要新建会话。

限制与说明:scrape 无法获取交互后内容时应改用 browser;不要用 browser 做网页搜索。agent 耗时约 2-5 分钟。各命令的具体选项、价格与额度规则以官方帮助及账户状态为准,资料未提供具体收费信息。