SuperAPI AI 工具集

firecrawl

数据与分析

查看项目

更新于 10-16 09:47

技能介绍

用途:Firecrawl 提供网页数据采集能力,适用于抓取单页内容、爬取整站、发现站点链接、联网搜索以及用 AI 提取结构化数据。基础地址为 https://api.firecrawl.dev/v1,需先设置 FIRECRAWL_TOKEN 环境变量。

主要能力:1) 抓取单页,formats 支持 markdown、html、rawHtml、screenshot、links,可选 onlyMainContent 跳过页眉页脚、timeout 设置超时。2) 爬取整站,异步任务,支持 limit、maxDepth、includePaths、excludePaths;返回任务 id 后轮询 /crawl/{id} 查看 status、completed、total 与结果。3) Map 快速发现站点 URL,支持 search 关键词过滤与 limit。4) Search 联网搜索,支持 limit 与 scrapeOptions。5) Extract 用 AI 从页面提取数据,支持 prompt 与 JSON schema,可传入多个 URL。

使用方式:以 curl 调用各端点,如 POST /scrape、/crawl、/map、/search、/extract,请求体写入 JSON 文件后用 -d @文件 发送,并附带 Authorization: Bearer 头。若请求失败,可运行 zero doctor check-connector --env-name FIRECRAWL_TOKEN 或 zero doctor check-connector --url https://api.firecrawl.dev/v1/scrape --method POST 排查连接。

适用场景:抓取文档转为 Markdown、查找博客全部文章、调研主题、提取定价等结构化信息。

限制:大爬取为异步,需轮询完成;应设置合理 limit 控制用量,并在请求间加延迟以避免 429;始终检查响应的 success 字段。其他如收费、价格与平台细节暂未提供。