用途:该技能封装 Firecrawl 的网页抓取与数据抽取能力,覆盖单页抓取、网页搜索、多页站点爬取、域名内 URL 发现,以及 AI 驱动的开放式结构化抽取。
主要能力:单 URL 抓取可输出 Markdown、HTML、links 等格式;search 支持限定结果数量并可顺带抓取整页;crawl 支持限制页数与最大深度并等待完成;map 用于发现域名下的 URL,可按关键词过滤;agent 支持用自然语言或 JSON schema 抽取结构化数据。
使用方式:先确认环境,运行 firecrawl --version 与 echo $FIRECRAWL_API_KEY。若未安装 CLI,执行 npm install -g firecrawl-cli;若密钥为空,在 .env 中配置并 export FIRECRAWL_API_KEY=fc-your-key-here,密钥可在 https://www.firecrawl.dev/app/api-keys 获取。按任务选择命令,例如 firecrawl https://example.com、firecrawl search "your query"、firecrawl crawl https://example.com --wait --progress、firecrawl map https://example.com、firecrawl agent "Extract all pricing plans from this site" --wait。输出统一写入 .tmp/,不要写入被跟踪路径。
MCP 回退:仅在一批预建 URL 一次性抓取、需要 schema 驱动的 LLM 抽取并直接对接下游工具调用、或需轮询异步爬取任务而不保持终端时,才使用 firecrawl-mcp 的对应工具,如 firecrawl_batch_scrape、firecrawl_extract、firecrawl_check_crawl_status、firecrawl_check_batch_status。
限制与错误处理:命令缺失时重装 CLI;401 或密钥未设置时补充并导出密钥;429 限流时降低 --limit 并重试;爬取超时则加 --max-depth 2 并降低 --limit;内容为空或被拦截可改用 --format html,仍失败则转用 Apify MCP;需要登录流程或 JS 表单等交互式浏览器时改用 playwright 相关工具;超过 1000 页的大规模任务建议使用 Apify MCP。最终交付物应输出到 Google Drive、Supabase、Sheets、邮件等云服务。官方未提供的内容暂未说明。