SuperAPI AI 工具集

firecrawl

通用与其它

查看项目

更新于 10-16 16:28

技能介绍

用途

Firecrawl CLI 用于搜索、抓取并与网页交互,返回针对 LLM 上下文窗口优化的干净 Markdown。它适合在需要联网检索、提取网页内容、批量采集站点内容或对页面进行交互操作时使用。

主要能力

  • search:尚无具体 URL 时,用于查找页面、回答问题、发现来源。
  • scrape:已有 URL 时,直接提取页面内容,支持静态页面与 JS 渲染页面。
  • map:在已知站点内查找 URL,定位特定子页面(可用 map --search)。
  • crawl:批量提取整个站点区块的内容(例如所有 /docs/)。
  • agent:从复杂站点进行 AI 驱动的结构化数据提取。
  • scrape + interact:先抓取再与页面交互,适用于点击按钮、填写表单、分页、多步导航、无限滚动或登录等场景。
  • download:将整个站点保存为本地文件。

使用方式

使用前必须已安装并完成认证,可通过 firecrawl --status 检查。状态输出会显示认证方式、并发上限(Concurrency,即最大并行任务数)与剩余额度(Credits,每次操作消耗额度)。

建议先做一次小请求验证环境:

mkdir -p .firecrawl
firecrawl scrape "https://firecrawl.dev" -o .firecrawl/install-check.md
firecrawl search "query" --scrape --limit 3

工作流遵循升级模式:Search(无具体 URL)→ Scrape(已有 URL)→ Map + Scrape(大型站点或需特定子页面)→ Crawl(需要整个站点区块的批量内容)→ Interact(抓取后与页面交互)。

命令参考可运行 firecrawl <command> --help 或 firecrawl --help 查看完整选项。

输出与组织

除非用户指定直接在上下文中返回,否则用 -o 将结果写入 .firecrawl/,并把 .firecrawl/ 加入 .gitignore。URL 始终加引号,因为 shell 会把 ? 和 & 视为特殊字符。

firecrawl search "react hooks" -o .firecrawl/search-react-hooks.json --json
firecrawl scrape "<url>" -o .firecrawl/page.md

命名约定:

  • .firecrawl/search-{query}.json
  • .firecrawl/search-{query}-scraped.json
  • .firecrawl/{site}-{path}.md

不要一次性读取整个输出文件,使用 grep、head 或增量读取:

wc -l .firecrawl/file.md && head -50 .firecrawl/file.md
grep -n "keyword" .firecrawl/file.md

单一格式输出原始内容;多格式(如 --format markdown,links)输出 JSON。

结果处理示例

# Extract URLs from search
jq -r '.data.web[].url' .firecrawl/search.json

# Get titles and URLs
jq -r '.data.web[] | "\(.title): \(.url)"' .firecrawl/search.json

并行化

独立操作可并行执行,先通过 firecrawl --status 查看并发上限:

firecrawl scrape "<url-1>" -o .firecrawl/1.md &
firecrawl scrape "<url-2>" -o .firecrawl/2.md &
firecrawl scrape "<url-3>" -o .firecrawl/3.md &
wait

对于 interact,可抓取多个页面并使用各自的 scrape ID 独立交互。

额度查询

firecrawl credit-usage
firecrawl credit-usage --json --pretty -o .firecrawl/credits.json

适用场景

  • 联网搜索与资料发现。
  • 抓取已知 URL 的页面内容。
  • 在站点内定位特定子页面。
  • 批量采集文档区块或站点内容。
  • 从复杂站点提取结构化数据。
  • 需要点击、填表、登录、分页等浏览器交互的抓取。
  • 将站点下载为本地文件。

限制与注意事项

  • 使用前必须安装并认证,未就绪时参见 rules/install.md。
  • 输出处理与安全文件读取模式参见 rules/security.md。
  • 不要用 interact 做网页搜索,应使用 search。
  • 避免重复抓取:search --scrape 已获取完整页面内容,不要再次抓取这些 URL;再次获取前先检查 .firecrawl/ 中是否已有数据。
  • 若任务是将 Firecrawl 集成到应用中、向项目添加 FIRECRAWL_API_KEY,或在产品代码中选择端点用法,应使用 firecrawl-build 技能(运行 firecrawl init 时已随此 CLI 技能一并安装)。
  • 每次操作消耗额度,并行任务受并发上限约束。

参考加载时机

  • 先搜索网页或查找来源 → firecrawl-search
  • 抓取已知 URL → firecrawl-scrape
  • 在已知站点查找 URL → firecrawl-map
  • 从文档区块或站点批量提取 → firecrawl-crawl
  • 从复杂站点进行 AI 结构化提取 → firecrawl-agent
  • 点击、表单、登录、分页或抓取后的浏览器操作 → firecrawl-interact
  • 将站点下载为本地文件 → firecrawl-download
  • 安装、认证或设置问题 → rules/install.md
  • 输出处理与安全文件读取模式 → rules/security.md
  • 将 Firecrawl 集成到应用、向 .env 添加 FIRECRAWL_API_KEY 或在产品代码中选择端点用法 → 使用 firecrawl-build 技能