SuperAPI AI 工具集

firecrawl

数据与分析

查看项目

更新于 10-16 00:23

技能介绍

用途:firecrawl-cli 是 firecrawl-mcp MCP 服务器的命令行替代,封装 api.firecrawl.dev,带代理默认值:遇反爬拦截重试/轮换、JS 渲染,以及 -o <path> 标志把结果写入磁盘而非流式进入对话,便于大页面只按需读取所需片段。

主要能力(十个子命令):scrape <url> 单 URL 转 markdown/html/json/screenshot;search "<q>" 查询返回排序 URL(可 --scrape);crawl <url> 从种子跟踪链接批量抓取;map <url> 仅快速发现 URL;parse <file> 本地 PDF/DOCX/XLSX/HTML 服务端转 markdown;interact "<p>" 对缓存 scrape 会话执行提示/操作;agent "<p>" 托管自然语言网络研究;monitor 服务端定时抓取与变更告警;search-feedback <id> 退回不良搜索额度;credit-usage 查看剩余配额。

使用方式:npm install -g firecrawl-cli 安装,通过操作系统用户级环境变量 FIRECRAWL_API_KEY 认证(密钥从 firecrawl.dev 获取)。常配合 mktemp 创建 spill 文件并 echo 路径,再用 Read 选择性读取,读完清理。仅极小单段结果可直接 stdout。配置读取 FIRECRAWL_API_KEY / FIRECRAWL_API_URL / FIRECRAWL_NO_TELEMETRY 三个环境变量及 -o、--json、--status 等全局标志;默认 5 任务并发、60s 搜索超时、自动重试退避、.firecrawl/ 本地缓存。自托管可设 FIRECRAWL_API_URL。

适用场景:WebFetch 返回 403/429、页面为 SPA 或需 JS 渲染、需点击/表单/登录、需要网络搜索、发现站点全部 URL、整站批量提取、本地 Office/PDF 转 markdown、自然语言网络研究。

限制与注意:当 WebFetch 可用、已知官方文档有专门工具、或需训练数据摘要时不应使用。每次调用消耗账户额度,建议先 map 再 crawl、搜索用 --limit。文档站点专用工具或综合工具在某些场景更合适。避免 firecrawl login(与 env 认证形成第二来源)及 firecrawl init --all --browser。CLI 与 mcp__firecrawl__* MCP 工具重叠,择一。沙箱会话可能遇 api.firecrawl.dev 的 DNS 503,约 30s 后重试。Windows 下路径处理依赖所用 shell。CLI 约每周更新,更新技能走 /firecrawl:update,消费者经 /plugin marketplace update 获取。