SuperAPI AI 工具集

robots-meta

前端与建站

查看项目

更新于 10-16 06:15

技能介绍

用途:该规则用于在 HTML 页面中正确设置 robots meta 指令,防止误配置导致页面从搜索结果中消失,适用于所有 HTML 页面,也适用于审计已从搜索结果中消失的页面,或对比预发布与生产环境的 meta 标签一致性。

主要能力:在 head 中放置 <meta name="robots" content="..."> 以按页控制索引;仅在不应出现在搜索结果中的页面使用 noindex;对希望被爬取以传递 PageRank 的页面避免使用 noindex, nofollow;针对特定爬虫的标签(googlebot、bingbot)会覆盖通用 robots 标签。

检查与修复:检查 head 中的 robots meta 值是否有意为之,例如生产页面不应带 noindex,并排查冲突的 googlebot 专用标签;对应当出现在搜索结果中的页面,移除或更新 noindex 指令,对必须屏蔽的页面确认 noindex 是有意设置,并删除重复或冲突的 robots meta 标签。

说明要点:需解释 robots.txt 与 meta robots 的区别、各自适用场景,以及 noindex 搭配 follow 仍允许链接权重传递的原因。代码审查时需检查元数据生成、渲染后的 HTML、结构化数据及响应头,指出违反规则的具体路由或模板,并说明如何验证最终页面输出。

限制:完整实现细节、代码示例和框架相关指引见 references/rule.md,本次资料暂未提供具体代码示例与框架指引内容。