SuperAPI AI 工具集

firecrawl-api

编程与开发

查看项目

更新于 10-16 08:41

技能介绍

用途:该技能通过 curl 直接调用 Firecrawl API,完成网页抓取与内容提取,无需 MCP 服务器。

主要能力:

  1. 单页抓取:POST https://api.firecrawl.dev/v1/scrape,必填参数 url,可选 formats(markdown、html、rawHtml、links)、onlyMainContent(默认 true)、waitFor(等待毫秒数)。
  2. 站点 URL 发现:POST https://api.firecrawl.dev/v1/map,返回 links。
  3. 网页搜索:POST https://api.firecrawl.dev/v1/search,参数如 query、limit。
  4. 整站爬取:POST https://api.firecrawl.dev/v1/crawl,参数如 url、limit、maxDepth,返回任务 ID;用 GET https://api.firecrawl.dev/v1/crawl/JOB_ID 查询进度。

必要用法:请求头需带 Authorization: Bearer $FIRECRAWL_API_KEY 与 Content-Type: application/json;API key 通过环境变量 FIRECRAWL_API_KEY 提供。示例命令: curl -s -X POST "https://api.firecrawl.dev/v1/scrape" -H "Authorization: Bearer $FIRECRAWL_API_KEY" -H "Content-Type: application/json" -d '{"url": "https://example.com", "formats": ["markdown"]}' | jq '.data.markdown'

适用场景:抓取文档页面、提取页面链接、搜索网页、批量爬取站点内容;常见做法是用 jq 处理返回结果,如提取 .data.markdown、.data.metadata 或 .data.links。

限制:需要 API key;每次请求消耗额度(credits);JavaScript 较重的页面可使用 waitFor;爬取任务为异步,需要轮询任务状态。具体价格与额度暂未提供。