用途:该规则针对同时使用 robots.txt 屏蔽规则和 meta robots noindex 标签的站点,用于排查“本意是去索引、页面却仍出现在搜索结果中”的问题。
核心原理:若页面被 robots.txt 的 Disallow 屏蔽,爬虫不会抓取该页面,也就永远读不到其中的 noindex 元标签,因此去索引不会生效。要正确去索引页面,应使用 <meta name="robots" content="noindex"> 且不要在 robots.txt 中屏蔽它。若在 robots.txt 中屏蔽某 URL,Google 仍可能依据外链锚文本在结果中展示该 URL。
检查方式:将站点 robots.txt 的 Disallow 路径与带有 <meta name="robots" content="noindex"> 的页面交叉比对,标记出 URL 同时匹配 Disallow 规则且带 noindex 标签的页面——这类页面的 noindex 永远不会被爬虫看到。
修复方式:必须去索引的页面,移除该 URL 的 robots.txt Disallow 规则并保留 noindex 元标签;只需不被抓取、不介意是否展示的页面,保留 Disallow 规则并移除 noindex 标签,同时理解 Google 仍可能展示该 URL。
适用场景:SEO 审计、元数据生成与渲染 HTML 检查、结构化数据与响应头审查,以及代码评审中定位面向搜索的输出违反该规则的模板或路由。
限制:资料未提供具体框架实现细节、代码示例与验证步骤,仅指向 references/rule.md 与规则页面 https://frontendchecklist.io/en/rules/seo/robots-meta-conflict。