用途:该技能针对网站技术结构,让内容可被搜索引擎(Google、Bing)与 AI 爬虫(GPTBot、ClaudeBot、PerplexityBot)及社交平台发现。核心理念是“内容是王,架构是王国”,内容再好也需要可被发现的架构支撑。
主要能力:
- robots.txt:提供基础模板与 AI 机器人规则示例,可按搜索引擎、AI 助手、抓取器分类设置 Allow/Disallow,并声明 Sitemap 位置;对是否允许 AI 训练给出可选注释方案。
- Sitemap:给出 XML Sitemap 模板、站点地图索引(大站点)、Next.js 动态 sitemap(app/sitemap.ts)写法。
- Meta 标签:基础标签、Canonical、Open Graph、Twitter Cards,以及 Next.js Metadata 配置与按文章动态生成 metadata 的写法。
- URL 结构:小写、连字符、无尾斜杠、描述性 slug、层级不超过 3-4 层等规则与好坏示例。
- 重定向与规范化:next.config.js 中的 301 重定向、通配符重定向、尾斜杠重定向,规范链接的使用场景。
- 安全响应头:HSTS、X-Frame-Options、X-Content-Type-Options、Referrer-Policy、Permissions-Policy 等配置。
- Core Web Vitals:LCP、INP、CLS 的目标阈值与优化清单,含 Next.js 图片、字体、动态导入示例。
- 内部链接与面包屑:链接架构、最佳实践、带 JSON-LD 的面包屑组件示例。
- AI 爬虫处理:常见 AI 爬虫 User-Agent 对照表,允许发现但屏蔽训练的可选配置及 AI 相关 meta 标签。
- 结构化数据放置:JSON-LD 在 head 或 body 的放置方式与同页多 Schema。
使用方式:按需从对应章节选取模板或代码片段,替换域名与路径后应用;Next.js 项目可直接使用 app/robots.ts、app/sitemap.ts、metadata 与 next.config.js 的示例。
适用场景:技术 SEO 审计与搭建、新站上线、AI 爬虫可发现性配置、性能与安全头优化。
限制:资料未提供收费、价格、平台支持范围及实测效果信息;示例中的部分细节(如 ai-training meta 标签)为提议性做法,采用前需自行验证。AI 训练相关屏蔽配置需按业务目标取舍。