SuperAPI AI 工具集

firecrawl-scraper

前端与建站

查看项目

更新于 10-15 20:06

技能介绍

用途:该技能在用户需要抓取网页、提取结构化页面数据、截图、解析 PDF、批量抓取 URL 或爬取整站时触发,按用户意图选择 Firecrawl 端点。

主要能力:scrape 抓取单页内容(markdown、html、rawHtml、links、images、summary、json、screenshot);crawl 按深度与路径过滤爬取整站;map 快速获取网站全部 URL 列表;batch-scrape 并行抓取多个 URL;crawl-status、batch-status、batch-errors 查询任务进度、结果与错误。支持 onlyMainContent、includeTags、excludeTags、waitFor、maxAge 等内容控制,以及 wait、click、write、press、scroll、executeJavascript 等浏览器动作。

使用方式:采用主技能加子技能两阶段架构,主技能理解问题、选择端点并组装 JSON,子技能仅执行 HTTP 调用。通过 Task 工具调用 firecrawl-fetcher 子技能,以 stdin 传入命令与 JSON,例如:cat <<'JSON' | node scripts/firecrawl-api.cjs scrape。crawl 与 batch-scrape 可加 --wait 等待完成,也可用 crawl-status <crawl-id>、batch-status <batch-id> 轮询,batch-errors <batch-id> 获取错误。API Key 通过环境变量 FIRECRAWL_API_KEY 或 .env 配置,优先级为环境变量高于 .env。

适用场景:单页内容提取、结构化商品信息抽取、PDF 解析、整站文档爬取、批量页面抓取与网站 URL 盘点。

限制:需配置 Firecrawl API Key;crawl 与 batch-scrape 为异步任务,需轮询状态;批量结果较大时返回 next 分页 URL,需手动跟进;其余收费、价格与平台细节暂未提供。