用途:Firecrawl 是一套网页抓取与搜索 API,本技能通过 MCP 服务器为 Claude Code 提供接口。适用场景包括:从单个 URL 抓取内容、按链接爬取整站、发现站点全部 URL、搜索网页并按需抓取结果、用 LLM 从页面提取结构化数据。
主要能力(需已配置 Firecrawl MCP 服务器): firecrawl_scrape 抓取单个 URL,返回干净 markdown;参数 url,可选 formats 如 ["markdown"]。 firecrawl_crawl 从起始 URL 按链接爬取;参数 url、maxDepth(默认 2)、limit。 firecrawl_map 仅发现站点 URL 不抓取内容;参数 url、limit(默认 100)。 firecrawl_search 搜索网页并返回带内容的结果;参数 query、limit(默认 5),支持 "精确短语"、-排除词、site:域名、intitle:词 等运算符。 firecrawl_extract 用 LLM 提取结构化数据;参数 urls、prompt,可选 schema(JSON Schema)。
典型流程:先用 firecrawl_search 找页面,再对结果 firecrawl_scrape 获取全文;分析文档站可先 firecrawl_map 发现全部页面再抓取具体章节;提取产品信息可用 firecrawl_extract 并传入描述提示或 JSON schema。
使用前提:MCP 服务器需要 FIRECRAWL_API_KEY 环境变量,API key 从 https://firecrawl.dev 获取;若自托管,配置 FIRECRAWL_API_URL(例如 http://localhost:3002),自托管无需 API key。
限制与说明:计费为按操作计费,Scrape 每页 1 credit,Map 每次调用 1 credit,Search 每条结果 1 credit,Extract 视复杂度而定,当前费率见 https://firecrawl.dev/pricing。常见错误包括缺少 API key、URL 格式无效、限流(自动处理)、站点阻止抓取。MCP 工具设计为尽量少消耗 token:Scrape 返回干净 markdown,Map 只返回 URL 列表,Search 返回摘要并可附全文,Extract 只返回所需数据。