SuperAPI AI 工具集

indexability-conflicts

通用与其它

查看项目

更新于 10-16 05:46

技能介绍

用途:审计站点可索引性问题,排查本应被排除的页面却出现在 Google 索引中(或反之)的情况,并检查索引信号冲突。

主要能力:对每个页面收集四类信号——URL 路径是否被 robots.txt 屏蔽、HTML 是否含 <meta name='robots' content='noindex'>、HTTP 响应是否含 X-Robots-Tag: noindex 头、<link rel='canonical'> 是否指向其他 URL。重点标记:被 robots.txt 屏蔽同时带 noindex 的页面、canonical 指向 noindex 页面的情况、meta 与 HTTP 头索引/禁止索引信号冲突的页面。

使用方式:先识别 robots.txt 屏蔽且带 noindex 的页面——若想排除出索引,移除 robots.txt 规则并保留 noindex,让爬虫能读取;若想阻止全部爬取,移除 noindex 并保留 robots.txt 屏蔽。再检查指向 noindex 页面的 canonical,目标必须是可索引页面,改为指向可索引 URL 或移除目标页的 noindex。最后处理 meta robots 中同时出现 index 与 noindex 的页面,Google 采用最严格指令,需统一为单一明确意图。修复后用 Google Search Console 的 URL Inspection 逐页验证。

代码审查:可程序化抓取 robots.txt 并解析 Disallow 规则,判断每个页面 URL 是否匹配;若匹配则抓取页面 HTML 检查 meta robots 标签,标记 noindex 是否存在,并检查 X-Robots-Tag 响应头与 meta 标签的冲突,报告每个被标记 URL 的具体冲突类型。

限制:robots.txt 是爬取指令,noindex 是索引指令,二者作用于 Google 流水线的不同阶段;被 robots.txt 屏蔽的页面不会被抓取,其 noindex 永远不会被读取,但 URL 仍可能通过站点地图或链接被知晓,形成爬取歧义状态。Google 文档明确警告不要屏蔽同时想声明 noindex 的页面。更多实现细节、代码示例与框架相关指引见 references/rule.md。