用途:审计 XML sitemap,识别那些既被列入 sitemap 又带 noindex 指令的 URL,用于诊断抓取与索引异常。
主要能力:解释 sitemap 与 noindex 的矛盾——sitemap 是建议爬取并索引,noindex 是指令禁止索引;两者并存会让 Googlebot 仍抓取该 URL,浪费抓取预算,并可能干扰 noindex 的解析。sitemap 应只列出可索引、返回 200 状态的规范 URL。
检查方式:抓取 XML sitemap 中每个 URL,请求页面并检查 HTML 头部的 noindex 元标签或 X-Robots-Tag: noindex 响应头,报告同时出现在 sitemap 且带 noindex 的 URL;同时检查返回非 200 状态的 sitemap 条目。
修复方式:对同时满足两个条件的 URL,判断是否应被索引——应索引则移除 noindex,不应索引则从 sitemap 中删除该 URL,绝不保留两者。
实现细节、代码示例与框架特定指导见 references/rule.md,规则页:https://frontendchecklist.io/rules/seo/noindex-in-sitemap。
适用场景:SEO 审计、sitemap 排查、索引问题诊断,适用于任何可能出现 noindex 与 sitemap 冲突的站点。
限制:资料未提供具体命令、框架配置或更多细节,其余暂未提供。