SuperAPI AI 工具集

firecrawl-scraper

编程与开发

查看项目

更新于 10-15 22:39

技能介绍

用途:Firecrawl 是面向 AI 的 Web 数据 API,可将整站内容转为 LLM 可用的 Markdown 或结构化数据,处理 JavaScript 渲染、反爬绕过、格式转换、截图与无头浏览器自动化。

主要能力(v2 端点):/v2/scrape 抓取单页,支持 formats、onlyMainContent、waitFor、actions;/v2/crawl 从起始 URL 爬取全站,支持 limit、maxDepth、allowedDomains、excludePaths;/v2/map 仅发现站点 URL 不抓内容;/v2/extract 用 AI 按 schema 与 systemPrompt 抽取结构化字段。

使用方式:需 API Key(fc- 开头),在 https://www.firecrawl.dev 注册获取,通过环境变量 FIRECRAWL_API_KEY 存储,切勿硬编码。Python 安装 pip install firecrawl-py,Node.js 安装 npm install @mendable/firecrawl-js。示例:app.scrape_url(url, params={"formats":["markdown"],"onlyMainContent":True});爬取用 app.crawl_url(url, params={"limit":100,"scrapeOptions":{"formats":["markdown"]}});抽取用 app.extract(urls, params={"schema":schema,"systemPrompt":"..."})。Node.js SDK 需 Node.js >=22.0.0,且因依赖 axios 无法在 Cloudflare Workers 运行,Workers 中应改用 fetch 直接调用 REST API。

适用场景:文档站转 Markdown 构建 RAG/聊天机器人、电商产品数据抽取、新闻正文清洗、批量结构化数据集。

限制:免费层每月 500 credits,付费层额度更高,credits 消耗随端点与选项变化;简单静态 HTML 建议用 cheerio/beautifulsoup,已有 Puppeteer/Playwright 或直接调用 API 的场景不必使用。常见问题包括无效 API Key、超限、超时与内容为空,可通过 waitFor、actions 与 onlyMainContent 缓解。官方文档 https://docs.firecrawl.dev。