SuperAPI AI 工具集

firecrawl-scrape

数据与分析

查看项目

更新于 11-02 09:13

技能介绍

firecrawl-scrape 是 Firecrawl 命令行工具中的网页抓取命令,用于读取已知 URL 的页面内容,或执行已选定的数据提供方工具以获取结构化结果。

用途与定位 当已经知道目标网页地址时,可直接用它把页面内容抓取下来;当需要结构化数据时,应先借助 search 技能查找合适的工作流或数据提供方,再用 list 查看其输入契约,然后按契约中声明的字段执行,而不是重复进行发现流程。

主要能力

  • 基础 Markdown 提取:firecrawl scrape "<url>" -o .firecrawl/page.md
  • 仅保留正文、去除导航与页脚:加 --only-main-content
  • 等待 JavaScript 渲染后再抓取:加 --wait-for 3000
  • 并发抓取多个 URL:该模式仅保存 Markdown,忽略 -o,其他格式会被丢弃,每个结果保存至 .firecrawl/
  • 同时获取 Markdown 与链接:--format markdown,links,输出 JSON
  • 针对页面提问:--query "...",会额外消耗 5 credits
  • PDF 解析:--max-pages 限制每个 PDF 的解析页数(1 至 10000),每解析一页消耗 1 credit

使用方式 抓取静态页面或 JS 渲染的单页应用时可直接使用 scrape;若页面需要点击、填表或翻页,或 scrape 未能取到内容,应改用 interact。结构化数据流程为:firecrawl search 查找工具,firecrawl list 查看类别、提供方与契约,最后用 firecrawl scrape <provider-id>/<capability-id> --options '<JSON>' 执行。执行时需使用工具契约声明的确切输入字段,并用查找工具解析记录 ID。

结果处理与限制 URL 抓取不会自动执行提供方工具。需要逐个检查 data.alexandria[] 结果中的错误,而不只看外层成功标志。遇到输出或上下文限制时,上游请求可能已成功,应保留请求或抓取 ID 并恢复保留的结果。大数据集与 PDF 建议用 --json -o 保存到本地,再用 jq 等工具分段检查;输出到 JSON 解析器时不要把 stderr 与 stdout 合并。多 URL 并发受 --status 显示的并发上限约束;URL 需加引号以避开 shell 特殊字符。额外格式与选项可能增加费用,CLI 执行前不会报价。

适用场景 适用于读取已知页面内容、批量并发抓取多个页面、提取页面正文、获取页面中的链接、对页面做单点问答,以及按已发现的契约执行数据提供方工具。