用途:指导 robots.txt 的配置与审计,实现对搜索引擎和 AI 爬虫的抓取控制。
主要能力:配置 Disallow/Allow、Sitemap、Clean-param;按路径控制爬虫访问;制定 AI 爬虫的允许或屏蔽策略;审计误屏蔽问题。输出通常包括当前状态(审计时)、完整的推荐 robots.txt 和合规检查清单。
关键区分:robots.txt 控制抓取(谁访问哪些路径),不阻止索引,被屏蔽的 URL 仍可能出现在搜索结果中;noindex(meta 或 X-Robots-Tag)才控制索引。nofollow 仅控制链接权重。
必要用法与规则:文件位于站点根目录,如 https://example.com/robots.txt,UTF-8 纯文本,遵循 RFC 9309。Disallow/Allow 只使用以 / 开头的根相对路径;Sitemap 必须使用绝对 URL;支持 * 和 $ 通配;更具体的路径优先;路径区分大小写。Clean-param 用于 Yandex 去除查询参数,例如:Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&ref&fbclid&gclid。
限制与注意:规则为建议性质,恶意爬虫可能忽略;robots.txt 公开可读,敏感内容应用 noindex 或鉴权。不要屏蔽 CSS、JS、图片和 /_next/,否则会影响页面渲染和索引;也不要屏蔽使用 noindex 的页面,因为爬虫需访问该页面才能读取指令。可屏蔽的路径包括 /admin/、/api/、/staging/、临时文件;登录、注册、感谢页等适合用 noindex。
AI 爬虫策略:对搜索类爬虫(OAI-SearchBot、Claude-SearchBot、PerplexityBot)允许;对仅用于训练的爬虫(GPTBot、ClaudeBot、CCBot、Google-Extended、Bytespider、Meta-ExternalAgent)可按需屏蔽。anthropic-ai 已废弃,改用 ClaudeBot/Claude-User/Claude-SearchBot。截至 2025 年 12 月,ChatGPT-User 不再遵守 robots.txt,需要屏蔽时应使用服务器端控制(如 WAF 规则、IP 限流)。各厂商令牌应查阅其最新文档。
适用场景:技术 SEO 的抓取控制、站点路径级屏蔽、AI 爬虫策略制定与 robots.txt 审计。具体平台支持与收费情况暂未提供。