SuperAPI AI 工具集

indexability

安全与审计

查看项目

更新于 10-16 05:52

技能介绍

用途:排查并修复导致重要页面无法被搜索引擎收录的索引屏蔽问题。被禁止索引的页面无论内容质量或外链如何都无法出现在搜索结果中,误屏蔽首页、落地页、产品页或博客文章是影响很大的技术 SEO 错误。

主要能力:检查页面是否被三类机制阻断——HTML 中的 <meta name='robots' content='...'> 是否含 noindex、HTTP 响应头 X-Robots-Tag 是否含 noindex、robots.txt 的 Disallow 规则是否屏蔽了该 URL 路径;并可用 Google Search Console 的“网址检查”工具确认页面是否已被收录(显示“网址已在 Google 上”即表示已收录)。

常见误屏蔽原因:预发布环境被直接推上生产、CMS 默认开启 noindex 设置、robots.txt 的 Disallow 规则范围过宽。

使用方式:对每个重要页面逐一核查上述四项(meta、响应头、robots.txt、Search Console 收录状态),标记任何存在 noindex 或 robots.txt 屏蔽的页面。修复时删除 noindex 标签或改为 content='index, follow';Next.js 中移除页面 metadata 里的 robots: { index: false };对 X-Robots-Tag 响应头,在服务器配置(Nginx、Apache、CDN 规则)中删除,Vercel 需检查 vercel.json 的 headers 配置;对被 robots.txt 屏蔽的路径,删除或收窄 Disallow 规则,并用 Search Console 的 robots.txt 测试工具验证。解除屏蔽后,通过网址检查 → 请求编入索引触发重新抓取,并在随后数周监控覆盖率报告,确认页面状态变为“已编入索引”。

代码审查要点:解析每个页面的 HTML,查找含 noindex 的 robots 或 googlebot meta 标签;检查 HTTP 响应头中的 X-Robots-Tag;与 robots.txt 的 Disallow 模式交叉比对;标记应用中无条件设置 noindex 的路由(而非仅对草稿或私密内容条件性设置)。

限制:资料未提供具体框架版本的完整实现细节、代码示例与价格信息,相关完整实现细节需参见其 references/rule.md。