SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场geo-crawlers

geo-crawlers

营销与增长

查看项目

更新于 10-15 15:35

技能介绍

用途

geo-crawlers 是一个 AI 爬虫访问分析技能，用于评估网站对 AI 爬虫的可访问性。AI 爬虫是 AI 公司用来发现、索引和训练网页内容的机器人。如果 AI 爬虫被阻止，网站内容无论质量如何，都无法出现在 AI 生成的回答中。爬虫访问是 GEO（生成式引擎优化）的基础技术前提。

该技能的核心判断是：截至 2026 年初，许多网站因沿用旧版 SEO 配置中过于激进的 robots.txt 规则，无意中屏蔽了 AI 爬虫。据资料引用的一项 2025 年研究，前 1000 个网站中超过 35% 至少屏蔽了一个主要 AI 爬虫，5% 至 10% 屏蔽了所有 AI 爬虫。屏蔽 AI 爬虫是让网站在 AI 生成搜索结果中变得不可见的最快方式。

主要能力

该技能内置一份完整的 AI 爬虫参考清单，按对 AI 搜索可见性的重要程度分为三个层级，并给出允许或阻止的建议。

第一层：对 AI 搜索可见性至关重要（建议允许）

  • GPTBot（OpenAI）：为 ChatGPT 的网页浏览、插件和搜索功能抓取内容，内容可能用于改进 OpenAI 模型。屏蔽后内容不会出现在 ChatGPT 搜索结果中。资料称 ChatGPT 截至 2025 年有 3 亿以上周活跃用户。
  • OAI-SearchBot（OpenAI）：专门驱动 ChatGPT 搜索功能，内容不用于模型训练，仅用于实时搜索结果。
  • ChatGPT-User（OpenAI）：当 ChatGPT 用户明确要求模型访问某个 URL 时使用，相当于代表用户的浏览器代理。
  • ClaudeBot（Anthropic）：为 Claude 的网页搜索、引用和分析工具抓取内容。
  • PerplexityBot（Perplexity AI）：驱动 Perplexity 的 AI 搜索引擎，提供带来源引用和回链的答案。资料称 Perplexity 是 AI 搜索产品中较好的推荐流量来源之一，因为它始终显示来源链接。

第二层：对更广泛的 AI 生态重要（建议允许）

  • Google-Extended（Google）：控制 Google 是否将内容用于 Gemini 模型训练和 AI Overviews 改进。资料特别指出，屏蔽 Google-Extended 不影响 Google 搜索排名或搜索结果中的出现，那由标准 Googlebot 控制。
  • GoogleOther（Google）：用于研究、一次性抓取和 AI 相关数据收集等非搜索排名用途。
  • Applebot-Extended（Apple）：用于训练和改进 Apple Intelligence、Siri 及 Apple 的 AI 产品，与标准 Applebot 分开。资料称 Apple Intelligence 集成在所有 Apple 设备中，活跃设备超过 20 亿。
  • Amazonbot（Amazon）：为 Alexa 回答和 Amazon 的 AI 功能索引内容。
  • FacebookBot（Meta）：用于 Meta 在 Facebook、Instagram、WhatsApp 和 Meta AI 助手上的 AI 功能。资料称 Meta AI 嵌入的应用合计用户超过 30 亿。

第三层：仅用于训练的爬虫（根据策略允许或阻止）

  • CCBot（Common Crawl，非营利）：构建 Common Crawl 数据集，被许多 AI 公司用作训练数据。屏蔽不影响任何实时 AI 搜索产品。
  • anthropic-ai（Anthropic）：用于 AI 安全研究和 Claude 模型训练，与 ClaudeBot 分开。屏蔽不影响 Claude 的实时搜索或网页浏览功能。
  • Bytespider（ByteDance）：用于 ByteDance 的多种 AI 产品，包括 TikTok 的 AI 功能和豆包。资料建议大多数西方市场企业阻止，理由是抓取行为激进且搜索可见性收益极小；如果面向中国或亚洲市场则允许。
  • cohere-ai（Cohere）：用于模型训练，Cohere 支持企业 AI 解决方案和 Coral 聊天产品。

使用方式

该技能按以下步骤执行分析：

  1. 获取并解析 robots.txt：使用 WebFetch 获取 [domain]/robots.txt，解析所有 User-agent 指令及其 Allow/Disallow 规则。对参考清单中的每个 AI 爬虫，检查是否有针对该爬虫的特定 User-agent 块，检查是否有通配符（User-agent: *）块适用，确定有效访问状态为允许、阻止或未提及（继承通配符规则）。记录可能减慢 AI 爬虫访问的 Crawl-delay 指令，并检查 Sitemap 指令。

  2. 检查 Meta Robots 标签：对 5 至 10 个关键页面抽样，获取 HTML 并检查 noindex、nofollow、noai、noimageai 以及针对特定爬虫的 meta 标签，记录页面级对 robots.txt 指令的覆盖。

  3. 检查 HTTP 响应头：对同样的抽样页面检查 X-Robots-Tag: noindex、noai、noimageai 以及针对特定爬虫的响应头。HTTP 响应头会覆盖 meta 标签，且适用于非 HTML 资源。

  4. 检查 AI 专用文件：检查 /llms.txt（AI 爬虫指导的新兴标准）、/.well-known/ai-plugin.json（OpenAI 插件清单）、/ai.txt（类似 ads.txt 的拟议标准），记录每个文件的存在与否及质量。

  5. 评估 JavaScript 渲染要求：检查网站是否为单页应用或大量依赖 JavaScript 渲染。资料指出 GPTBot、ClaudeBot、PerplexityBot 的 JS 渲染能力有限，Googlebot 具备完整 JS 渲染能力（Google-Extended 继承此能力）。如果关键内容需要 JS 渲染，标记为潜在问题，并检查是否有服务端渲染或静态站点生成作为缓解措施。

  6. 解析 Content-Signal 指令：使用已获取的 robots.txt，扫描以 Content-Signal: 开头的行（不区分大小写）。如果找到，解析所有 key=value 对，对照已知键集合（ai-train、search、ai-personalization、ai-retrieval）验证键，值只允许 yes 和 no。未知键或无效值标记为警告，因为该规范仍是 IETF 草案。如果不存在，记录为建议项，表示网站尚未声明 AI 使用偏好。

  7. 检测 Cloudflare 托管 robots.txt：使用已获取的 robots.txt，检查是否存在以 # BEGIN Cloudflare Managed content 开头的块（不区分大小写）。如果找到，说明 Cloudflare 正在将其托管的 robots.txt 前置到网站自己的文件中，该块会禁止 GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、Amazonbot、Bytespider、CCBot 和 meta-externalagent。如果网站所有者自己的规则允许 AI 爬虫，则记录为关键问题。资料指出所有者通常不知道它已开启，因为该块从不出现在其服务器上的 robots.txt 文件中，只出现在实时响应中。建议在 Cloudflare 仪表板中进入安全设置，按“Bot traffic”筛选，如果网站希望被 AI 使用，则关闭“block training in robots.txt”；如果阻止训练是有意为之，则记录为有意选择而非问题。

输出格式

该技能生成一个名为 GEO-CRAWLER-ACCESS.md 的文件，包含：

  • 标题和元信息：域名、分析日期、robots.txt 状态。
  • 爬虫访问汇总表：列出每个爬虫、运营方、层级、状态（允许/阻止/未提及）和影响描述。
  • AI 可见性评分：满分 100 分，并分别给出第一层（5 个爬虫中允许几个）、第二层（5 个中允许几个）、第三层（4 个中允许几个）的访问情况。
  • 关键问题：列出任何被阻止的第一层爬虫。
  • 建议：包括即时行动（具体的 robots.txt 修改）和完整的 robots.txt 建议配置。

资料还提供了一份“最大 AI 可见性配置”的 robots.txt 示例，允许 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、anthropic-ai、PerplexityBot、Google-Extended、GoogleOther、Applebot-Extended、Amazonbot、FacebookBot，并阻止 Bytespider 和 CCBot。

适用场景

该技能适用于希望了解并优化自身网站在 AI 搜索和 AI 助手中可见性的网站所有者、SEO 从业者和内容发布者。尤其适合以下情况：网站内容质量高但在 AI 生成回答中不出现；需要排查是否因 robots.txt 或响应头配置意外屏蔽了 AI 爬虫；需要评估 Cloudflare 托管 robots.txt 是否造成了非预期的屏蔽；需要为 GEO 策略建立技术基础。

限制

资料中未提供该技能的具体安装命令、运行环境要求、依赖项或收费信息。资料中引用的研究数据和用户规模数据来自第三方，未提供独立验证。Content-Signal 规范仍为 IETF 草案，相关解析结果可能随规范变化。该技能的分析基于抽样页面，可能无法覆盖所有页面级配置。