用途
Firecrawl Agent 是一个 AI 驱动的自主提取技能,用于从复杂的多页面网站中获取结构化数据。当你需要的数据分散在多个页面、手动抓取需要逐页导航,或希望让 AI 自行判断数据所在位置时,可以使用该技能。
主要能力
- 自主导航网站并提取结构化数据,一次运行通常需要 2-5 分钟。
- 支持用自然语言描述目标数据,例如提取全部定价层级或产品信息。
- 支持通过 JSON schema 获得结构化、可预测的输出格式;若未提供 schema,则返回自由格式数据。
- 可用 --urls 指定起始 URL,聚焦特定页面。
- 可选择模型(spark-1-mini 或 spark-1-pro)。
- 可用 --max-credits 限制本次运行的额度消耗。
使用方式
快速开始示例:
# Extract structured data
firecrawl agent "extract all pricing tiers" --wait -o .firecrawl/pricing.json
# With a JSON schema for structured output
firecrawl agent "extract products" --schema '{"type":"object","properties":{"name":{"type":"string"},"price":{"type":"number"}}}' --wait -o .firecrawl/products.json
聚焦特定页面:
firecrawl agent "get feature list" --urls "" --wait -o .firecrawl/features.json
选项
| Option | Description |
|---|---|
--urls <urls> |
代理的起始 URL |
--model <model> |
使用的模型:spark-1-mini 或 spark-1-pro |
--schema <json> |
用于结构化输出的 JSON schema |
--schema-file <path> |
JSON schema 文件的路径 |
--max-credits <n> |
本次代理运行的额度上限 |
--wait |
等待代理完成 |
--pretty |
美化输出 JSON |
-o, --output <path> |
输出文件路径 |
使用建议
- 始终使用
--wait以直接获取结果;不使用它时只会返回一个任务 ID。 - 需要可预测的结构化输出时使用
--schema,否则代理返回自由格式数据。 - 代理运行比简单抓取消耗更多额度,可用
--max-credits限制花费。 - 对于简单的单页提取,建议优先使用
scrape,它更快也更便宜。
适用场景与限制
适用于复杂多页面站点的结构化数据提取,例如跨页面收集定价层级、产品列表等。限制方面:运行耗时较长(2-5 分钟),消耗额度高于普通抓取;简单单页提取不适合用本技能。相关资料未提供具体收费、价格或性能保证信息。
相关技能
- firecrawl-scrape:更简单的单页提取。
- firecrawl-interact:抓取加互动,用于手动页面交互(控制力更强)。
- firecrawl-crawl:不带 AI 的批量提取。