用途：这是前端检查清单（front-end-checklist）中的一条技术 SEO 规则，适用于任何公开网站，也用于审查技术 SEO 基础或诊断搜索引擎抓取覆盖缺口。核心目标是确保生产域名上发布有效的 robots.txt，避免配置错误导致搜索引擎无法抓取页面、影响自然搜索可见性。
主要能力与检查点：
- 生产域名下 /robots.txt 可访问并返回 HTTP 200。
- 使用正确的 User-agent / Disallow / Allow 语法。
- 包含指向 XML 站点地图的 Sitemap: 指令，且为生产环境的实时地址。
- 不屏蔽渲染页面所需的 CSS/JS 资源。
- 不在线站出现误写的 Disallow: / 全站屏蔽指令。
使用方式（检查与修复流程）：在线上域名抓取 /robots.txt，确认返回 HTTP 200、语法正确并含 Sitemap: 行，同时排查是否存在意外的 Disallow: /。发现问题时，在网站根目录创建或更新 robots.txt 写入有效指令，添加指向生产站点地图的 Sitemap: 行，并移除屏蔽整站或渲染所需资源的规则。规则还要求解释 robots.txt 如何控制爬虫访问、误写 Disallow: / 为何会导致站点被移除索引，以及为何基于渲染的索引需要保持 CSS/JS 可访问。代码审查环节针对与此规则相关的元数据生成、渲染后 HTML、结构化数据和响应头，指出违反规则的具体路由或模板并说明如何验证最终页面输出。
限制：资料未提供具体框架示例、完整代码实现或价格信息，完整实现细节与框架相关指引需参见其引用的 references/rule.md 与规则页面。