SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场seo-firecrawl

seo-firecrawl

营销与增长

查看项目

更新于 10-16 01:57

技能介绍

用途

seo-firecrawl 是一个 Firecrawl 编排器，为 SE Ranking 数据驱动技能之外的任务提供对 Firecrawl MCP 的直接接口。适用场景包括：需要原始 HTML、<head> 元数据、JSON-LD 或 JS 渲染后的 DOM（WebFetch 的 markdown 转换会剥离这些内容）；需要在不逐个拉取的情况下获取域名下所有 URL 列表；需要爬取站点并审计每页元数据；需要在已知域名内搜索；或作为更高级技能（seo-page、seo-schema、seo-content-audit 等）的子步骤被调用。

主要能力

支持四种模式：

  • scrape — 单个 URL，完整数据（用户提供单个 URL 时为默认模式）。
  • map — 单个域名，仅返回 URL 列表（低成本侦察，约 0.5 积分/URL）。
  • crawl — 单个域名，逐页抓取（较昂贵，需明确确认，每页 1 积分）。
  • search — 在域名内查询（每条结果 1 积分）。

若未指定模式，则根据输入形态推断：单 URL → scrape，单域名 → map。

使用方式

前置要求： 必须安装 firecrawl-mcp MCP 服务器。若 mcp__firecrawl-mcp__firecrawl_scrape 不可用，需中止并提供安装命令（来自插件仓库的 bash extensions/firecrawl/install.sh）以及 firecrawl.dev 注册链接（免费 500 积分/月）。不尝试替代方案。

用户需提供： 目标 URL 或域名，可选指定模式（scrape / map / crawl / search）。

处理流程：

  1. 预检——确认 firecrawl-mcp 已连接，否则显示安装命令并停止。
  2. 模式选择——将用户意图解析为上述四种模式之一。
  3. 成本估算与确认——scrape 1 积分，map 约 0.5 积分/URL，crawl 1 积分/页，search 1 积分/结果。crawl 及预计超过 50 个 URL 的 map 需明确确认后才调用。通过响应元数据中的 creditsUsed / creditsRemaining 读取剩余积分。
  4. 执行——调用匹配的 mcp__firecrawl-mcp__firecrawl_* 工具。scrape 默认传 formats: ["markdown", "html"]，仅在交付物明显需要时添加 screenshot。SPA 传 waitFor: 2000 或 CSS 选择器。默认 onlyMainContent: true。map 默认 limit: 500（硬上限），默认传 excludePaths: ["/admin/", "/api/", "/wp-admin/", "/feed/"]。crawl 默认 limit: 50（硬上限 200），始终传 excludePaths，异步任务用 firecrawl_check_crawl_status 轮询。search 默认 limit: 20。
  5. 解析并结构化输出。
  6. 在根目录合成 FIRECRAWL.md：目标、模式、消耗积分、关键发现（最多 5 条）、未解决问题、推荐的后续技能。

输出格式（文件夹 seo-firecrawl-{slug}-{YYYYMMDD}/）：

  • scrape：RAW.md（markdown 正文）、META.md（og / twitter / canonical / robots / headers + 解析的 JSON-LD）、links.csv、可选 screenshot.png、FIRECRAWL.md。
  • map：URLS.md（按模式分组）、urls.csv、FIRECRAWL.md。
  • crawl：INDEX.md、pages/{slug}/RAW.md + META.md、FIRECRAWL.md。
  • search：MATCHES.md、FIRECRAWL.md。

适用场景

需要原始 HTML 而非 markdown 转换结果、需要站点 URL 盘点、整站元数据审计、域内搜索，或作为其他 SEO 技能的底层抓取子步骤。如果已有更具体的技能（如 seo-page 处理单 URL 关键词/流量判定、seo-schema 处理 JSON-LD、seo-technical-audit 处理整站问题），应改用那些技能，它们会自动编排 Firecrawl 加 SE Ranking 数据。

限制与注意事项

  • 免费层 500 积分/月；map 0.5 积分/URL，scrape 1 积分/次，crawl 1 积分/页。单次运行超过 100 积分时应发出警告。
  • 仅交付物明显使用截图时才请求 screenshot 格式，否则每页成本翻倍。
  • 不使用 firecrawl_extract 或 firecrawl_deep_research，两者与自有 LLM 分析重叠，且后者免费层定价不透明，均超出 seo-skills 范围。
  • Cloudflare / 反爬：部分站点（尤其电商、银行）会阻止 Firecrawl 抓取器，需干净显示错误；突破 WAF 不是本技能的目标。
  • 作为子步骤被调用时，省略 FIRECRAWL.md 合成，调用方需要原始 META.md / RAW.md；若调用方需要原始 urls.csv 则也跳过 URLS.md 摘要。
  • 爬取范围不明确时，先 map 后 crawl 可节省积分；includePaths / excludePaths 可大幅降低爬取成本。

配合使用

前驱：无（入口点），或作为其他技能的子步骤被调用。后继：seo-page（单 URL 已抓取且需要关键词/流量判定）、seo-schema（JSON-LD 审计发现缺口需生成）、seo-technical-audit（爬取发现大规模死链或 noindex）、seo-content-audit（爬取产生语料需 E-E-A-T 审计）、seo-drift baseline（用户想长期跟踪该 URL 或域名）。