用途:这是 Claude SEO 的 Firecrawl 扩展技能,用于整站爬取、抓取和站点结构映射,适用于 SEO 审计场景。使用前需安装扩展:./extensions/firecrawl/install.sh,并确认 firecrawl_scrape 等 MCP 工具可用;若不可用应提示用户未安装并给出安装说明。
主要能力(均为 MCP 工具):
- crawl:从起始 URL 全站爬取,返回页面内容、元数据与链接。参数含 url(必填)、limit(默认100,最大500)、maxDepth(默认3)、includePaths/excludePaths(glob 模式)、scrapeOptions.formats(markdown/html/links)。可用于整站审计、栏目定向爬取、断链检测、内容清点、SPA/JS 渲染站点。
- map:仅发现 URL 不取内容,快且省额度。参数含 url(必填)、limit(默认5000)、search。可用于站点地图对比、孤儿页检测、爬取预算分析、URL 结构分析。
- scrape:单页深度抓取,执行 JS 并等待动态内容。参数含 url、formats(markdown/html/links/screenshot)、onlyMainContent(默认true)、waitFor、timeout(默认30000)、actions。静态 HTML 页建议用 fetch_page.py,JS 渲染、需干净 markdown、被限流或需截图时用 firecrawl_scrape。
- search:站内搜索,参数含 query、url、limit(默认10)、scrapeOptions.formats。可用于内容缺口验证、内链机会、重复内容、竞品内容研究。
与其他技能集成:配合 seo-audit 做全站发现与内容分发;配合 seo-technical 做断链、重定向链、混合内容、canonical 校验;配合 seo-sitemap 做覆盖率与孤儿页检测;配合 seo-content 做 E-E-A-T 与薄内容检测;配合 seo-schema 做 JSON-LD 提取与覆盖率。
限制与成本:免费层 500 credits/月,1 credit 等于 1 页爬取或抓取,map 每发现一个 URL 约 0.5 credit;大爬取前应告知用户预计消耗。常见错误:未设置 FIRECRAWL_API_KEY(运行安装脚本)、402 额度耗尽、429 限流(等待60秒并降低并发)、408 超时、403 站点禁止爬取。不可用时可回退 fetch_page.py 或 WebFetch。缺失信息:具体平台适用范围与更详细定价,资料暂未提供。