用途:firecrawl-agent 是 Firecrawl 提供的 AI 自主提取技能,用于从复杂、多页网站中自动导航并提取结构化数据,返回 JSON。当手动抓取需要翻很多页面,或希望由 AI 自行判断数据位置时适用。
主要能力:AI 自主导航站点并提取结构化数据;支持通过 JSON schema 约束输出格式;可指定起始 URL 聚焦特定页面;可选择模型 spark-1-mini 或 spark-1-pro;可设置本次运行的积分上限。
使用方式:基本命令为 firecrawl agent "extract all pricing tiers" --wait -o .firecrawl/pricing.json。带 schema 的示例:firecrawl agent "extract products" --schema '{"type":"object","properties":{"name":{"type":"string"},"price":{"type":"number"}}}' --wait -o .firecrawl/products.json。聚焦特定页面:firecrawl agent "get feature list" --urls "" --wait -o .firecrawl/features.json。
主要选项:--urls 指定起始 URL;--model 选择模型(spark-1-mini 或 spark-1-pro);--schema 传入 JSON schema;--schema-file 指定 schema 文件路径;--max-credits 限制积分;--wait 等待完成;--pretty 美化输出;-o/--output 指定输出文件。
提示与限制:始终使用 --wait 以直接获取结果,否则只返回任务 ID;使用 --schema 可获得可预测的结构化输出,否则返回自由格式数据;agent 运行比简单抓取消耗更多积分,可用 --max-credits 限制;单页简单提取建议改用 scrape,更快更省。运行通常耗时 2-5 分钟。相关技能包括 firecrawl-scrape、firecrawl-interact、firecrawl-crawl。