用途:指导索引问题的排查与修复,适用于处理 Search Console 中的索引问题、使用 noindex、实施 Google Indexing API 等场景。诊断 GSC 问题的方法参见 google-search-console 技能。
主要能力与修复动作:noindex、canonical、内容质量调整、URL Inspection;并需验证 robots.txt 未拦截(参见 robots-txt)。
常见问题与处理:
- 已抓取但未编入索引:低质量/重复/跑题内容应改进内容、修复重复、设置正确 canonical;CSS/JS 等静态资源属正常现象(Next.js/Vercel 会为静态资源加 dpl= 参数),应保持 robots.txt 允许 /_next/,不要屏蔽 /_next/ 或 ?dpl=,静态资源用 X-Robots-Tag,不必索引;参数化的 Feed、分享 URL 通常可忽略或 noindex/canonical 到主 URL;重要内容页用 URL Inspection 核对 canonical、内链、sitemap 并请求索引。
- 其他类型:被 noindex 排除(若非故意则移除)、被 robots.txt 屏蔽、重定向/404、重复/canonical、软404(页面返回 200 但内容显示不存在,应改为 404、补充内容或 301)。
noindex 使用:可通过 metadata.robots = { index: false }、<meta name="robots" content="noindex"> 或 X-Robots-Tag 实现。robots.txt 为路径级抓取控制,noindex 为页面级索引控制;不要用 robots.txt 屏蔽需读取 noindex 的页面。nofollow 仅控制链接权重,不能阻止索引。
通常需要 noindex 的页面:登录/注册/密码重置/账户面板;后台、预发、测试、内部工具;感谢页、确认页、结账成功、下载门槛;404、站内搜索结果、分面/筛选 URL;隐私、条款、Cookie 政策(可选);打印机友好页、参数 URL、近似重复页;媒体套件、外部反馈板、薄内容新闻页。多数情况用 noindex,follow 保留链接权重,仅登录、预发、临时测试页用 noindex,nofollow。
页面移除决策:有近似替代页或已合并内容用 301;永久删除且无替代用 410;不确定是否永久用 404;仍需访问但不索引用 noindex。移除前检查搜索流量、外链、内链与转化价值。常见错误包括:有替代页仍返回 404、全部重定向到首页、重定向链、未清理内链、用 robots.txt 屏蔽 noindex 页。移除后需从 sitemap 删除并更新、内链直指最终 URL、301 目标需在 sitemap 中,并用 GSC URL Inspection 验证。
Google Indexing API:常用于 JobPosting(招聘板)与 BroadcastEvent(直播平台)。需启用 API、创建服务账号、在 Search Console 添加所有者、申请配额(默认每天 200 个 URL)。
输出包含优先修复项与页面索引报告参考。相关技能:google-search-console、robots-txt、page-metadata、xml-sitemap、indexnow、canonical-tag。
限制:具体内容需结合项目资料;未提供的收费、平台等信息暂未提供。