SuperAPI AI 工具集

firecrawl-agent

数据与分析

查看项目

更新于 10-16 16:28

技能介绍

用途

Firecrawl Agent 是一个 AI 驱动的自主提取技能,用于从复杂的多页面网站中获取结构化数据。当你需要的数据分散在多个页面、手动抓取需要逐页导航,或希望让 AI 自行判断数据所在位置时,可以使用该技能。

主要能力

  • 自主导航网站并提取结构化数据,一次运行通常需要 2-5 分钟。
  • 支持用自然语言描述目标数据,例如提取全部定价层级或产品信息。
  • 支持通过 JSON schema 获得结构化、可预测的输出格式;若未提供 schema,则返回自由格式数据。
  • 可用 --urls 指定起始 URL,聚焦特定页面。
  • 可选择模型(spark-1-mini 或 spark-1-pro)。
  • 可用 --max-credits 限制本次运行的额度消耗。

使用方式

快速开始示例:

# Extract structured data
firecrawl agent "extract all pricing tiers" --wait -o .firecrawl/pricing.json

# With a JSON schema for structured output
firecrawl agent "extract products" --schema '{"type":"object","properties":{"name":{"type":"string"},"price":{"type":"number"}}}' --wait -o .firecrawl/products.json

聚焦特定页面:

firecrawl agent "get feature list" --urls "" --wait -o .firecrawl/features.json

选项

Option Description
--urls <urls> 代理的起始 URL
--model <model> 使用的模型:spark-1-mini 或 spark-1-pro
--schema <json> 用于结构化输出的 JSON schema
--schema-file <path> JSON schema 文件的路径
--max-credits <n> 本次代理运行的额度上限
--wait 等待代理完成
--pretty 美化输出 JSON
-o, --output <path> 输出文件路径

使用建议

  • 始终使用 --wait 以直接获取结果;不使用它时只会返回一个任务 ID。
  • 需要可预测的结构化输出时使用 --schema,否则代理返回自由格式数据。
  • 代理运行比简单抓取消耗更多额度,可用 --max-credits 限制花费。
  • 对于简单的单页提取,建议优先使用 scrape,它更快也更便宜。

适用场景与限制

适用于复杂多页面站点的结构化数据提取,例如跨页面收集定价层级、产品列表等。限制方面:运行耗时较长(2-5 分钟),消耗额度高于普通抓取;简单单页提取不适合用本技能。相关资料未提供具体收费、价格或性能保证信息。

相关技能

  • firecrawl-scrape:更简单的单页提取。
  • firecrawl-interact:抓取加互动,用于手动页面交互(控制力更强)。
  • firecrawl-crawl:不带 AI 的批量提取。