用途：在开展任何 AI 可见性优化前，先检查网站 robots.txt 是否允许决定 ChatGPT Search、Perplexity、Claude、Gemini、Microsoft Copilot 等可见性的 AI 爬虫。一次检查不到一分钟。
范围：只读取 https://<域名>/robots.txt，不抓取站点、不访问被禁止路径、不绕过访问控制。
流程：先抓取该文件。404 或空表示默认全部允许，应如实说明并停止；非 404 的其他状态码或不可达，报告状态码并停止，不猜测内容；若以 HTML 返回（软 404），需标记，因为爬虫可能解析为乱码。
随后按标准 robots.txt 匹配规则逐个解析代理：最具体的 User-agent 组优先，* 仅在无组命名该代理时适用；组内最长匹配路径规则优先，等长时 Allow 胜过 Disallow。涉及的代理包括 OAI-SearchBot、ChatGPT-User、GPTBot、PerplexityBot、Perplexity-User、ClaudeBot、Googlebot、Google-Extended、Bingbot、Applebot、Applebot-Extended、CCBot，并说明各自用途与屏蔽代价。爬虫名称会变化，定稿前应查各运营方官方文档补充新增或改名者，并说明所用清单。
报告：输出表格，每行一个代理，列为 Agent | Verdict（ALLOWED/BLOCKED/PARTIAL）| Rule responsible | Impact。Rule responsible 必须引用 robots.txt 原文行，或写“无匹配规则——默认允许”，不得无依据下结论。PARTIAL 指根路径允许但重要路径被禁，需列出被禁路径。之后给出结论一句话、需增删改的确切 robots.txt 行（可粘贴代码块，无需改动则明说），以及本次检查未覆盖的内容：WAF、CDN 机器人规则、IP 声誉、Cloudflare 机器人管理等服务器端拦截不可见，每次都需说明。
该检查旨在发现三类常见错误：屏蔽 GPTBot 以为可退出训练，但 OAI-SearchBot 单独控制 ChatGPT Search 引用；屏蔽 Google-Extended 以为可退出 AI Overviews，实际其只影响 Gemini 接地与训练，退出 AI Overviews 需用 nosnippet、max-snippet 或 data-nosnippet，且会牺牲普通搜索摘要；以及从预发配置或安全模板继承的 User-agent: * / Disallow: /。
若用户询问是否应屏蔽 AI 爬虫，不给出推荐，只陈述权衡：允许搜索爬虫才能被引用，允许训练爬虫影响模型知识但不影响引用，两者独立。
限制：免费、只读、仅针对一个公开文件，无需账号、API 密钥或付费服务。由 MaxAEO 维护，爬虫矩阵对照各运营方官方文档保持更新，无官方文档者会明确说明而非猜测。