用途
技术 SEO 审计与修复,针对内容之下的基础层:搜索引擎如何抓取、渲染、索引和信任一个网站。该技能与具体技术栈无关。
适用场景包括:
- 站点迁移前后的全站审计
- 排查索引或排名下降
- 为新站搭建 SEO 基础
- 审计 Core Web Vitals 或页面体验信号
- 修复抓取浪费、重定向链或 canonical 问题
- 设置多语言或多地区站点
不适用场景:
- 单页页面优化(应使用 seo-onpage)
- 关键词策略或内容规划(应使用 seo-keyword)
- 竞品外链或 SERP 分析(应使用 seo-competitor)
- 无 SEO 背景的纯性能优化(应使用 performance-optimization)
所需输入
- 站点 URL 或预发布(staging)URL
- 至少能查看渲染后的 HTML、robots.txt 和 sitemap 的访问权限
- 理想情况下:Search Console 访问权限、服务器日志和爬虫工具
- 如果站点规模较大(1 万以上 URL),需确认审计是全量抓取还是抽样
六层框架
技术 SEO 分为六层,逐层叠加。底层失败会破坏其上所有层。
1. 可抓取性
搜索引擎能否访问这些 URL?
- robots.txt 未屏蔽重要路径
- 可索引页面没有意外的 noindex
- 没有意外屏蔽 CSS 或 JS 的 disallow 规则(会破坏渲染)
- Sitemap 存在、返回 200,且只列出 canonical URL
- Sitemap 在 robots.txt 中被引用
- 没有无限空间(如分面导航生成无尽 URL)
- 抓取预算未浪费在低价值 URL 上
2. 可索引性
在可抓取的 URL 中,哪些应被索引?
- 每份内容只有一个 canonical URL(无重复)
- canonical 页面上的 canonical 标签自引用
- 预发布环境、搜索结果、筛选页、感谢页、内部管理页设置 noindex
- 没有混合信号(canonical 指向一处、sitemap 指向另一处、内链指向第三处)
- 分页处理正确(rel=next/prev 已弃用,但一致的 canonical 很重要)
- 参数处理有明确意图(UTM、会话 ID、排序方式)
3. 渲染
渲染后的 HTML 是否与爬虫看到的一致?
- 关键内容无需 JavaScript 即可见(或正确服务端渲染)
- 对 SPA:确认 Googlebot 能看到渲染后的内容(用 URL Inspection 工具测试)
- 无 cloaking(对爬虫和用户展示不同内容)
- 懒加载内容有正确的加载属性
- 水合(hydration)错误不会从渲染后的 DOM 中剥离内容
4. 站点架构
站点结构是否同时面向用户和爬虫?
- 清晰的 URL 层级,与站点结构对应
- 重要页面从首页 3 次点击内可达
- 内链合理分配权重
- 面包屑导航存在并用 schema 标记
- 无孤儿页面(没有任何内链的页面)
- 无重定向链(最多一次重定向)
- 内链 URL 无 4xx 错误
5. 结构化数据与信号
站点是否使用爬虫语言?
- 在合适的页面类型上使用 Schema.org 标记
- 使用 JSON-LD 格式(优于 microdata)
- 在 Rich Results Test 中验证通过
- 首页或关于页有 Organization 或 LocalBusiness schema
- 嵌套页面有 BreadcrumbList schema
- 内容页的作者和发布者 schema 正确关联
- 根目录存在 llms.txt(面向 AI 爬虫,参见 seo-aeo-geo)
6. 页面体验与安全
站点是否达到页面体验基线?
- 所有页面使用 HTTPS,无混合内容
- 设置 HSTS 头
- Core Web Vitals 通过(LCP、INP、CLS 在阈值内)
- 移动端友好(响应式、无横向滚动、点击目标尺寸正确)
- 移动端无侵入式插页
- URL 结构稳定(部署之间无随机 URL 变化)
- 404 页面返回 404,而非返回 200 加“页面未找到”内容(软 404)
工作流程
- 定义范围。整站、子目录、迁移检查或特定问题。
- 确认访问权限。实际能看到什么(HTML、robots、sitemap、Search Console、服务器日志、预发布环境)?
- 抓取。用爬虫枚举 URL 和状态。站点很大时抽样。
- 运行六层框架。为每层评分,记录具体问题并附示例 URL。
- 交叉核对。用 Search Console 查看实际被索引的内容,与 sitemap 和抓取输出对比。
- 排优先级。Critical(阻止索引或导致流量损失)、Important(次优)、Nice-to-have(打磨)。
- 撰写报告。使用 references/audit-template.md 中的模板。
失败模式
- 在 noindex 页面上优化排名。内容工作前务必先检查可索引性。
- 添加 sitemap 却不修复 canonical 问题。重复 URL 的 sitemap 比没有 sitemap 更糟。
- 屏蔽爬虫访问 CSS 或 JS。会破坏 Google 的渲染,常见于过于激进的 robots.txt。
- 过度依赖 canonical 标签。canonical 是提示而非指令。内容实际迁移时应使用重定向。
- 迁移时没有重定向映射。这是迁移后流量损失的最大单一原因。
- 把 Core Web Vitals 当作唯一排名信号。页面体验重要,但不能覆盖相关性。
输出格式
默认输出为 Markdown 审计报告,文件名为 seo-technical-audit.md。结构:
- 范围与方法
- 执行摘要(3 到 5 条关键发现)
- 六层评分
- Critical 问题(附示例 URL)
- Important 问题
- Nice-to-have 打磨项
- 实施路线图(按顺序排列)
迁移场景下,报告旁另附 CSV 格式的重定向映射。
数据不可用时
该技能的输出依赖其自身无法生成的数据、测量或工具结果。当所需输入、工具或数据源不可用或无法验证时,被认可的产出是:交付物中说明缺口——需要什么、实际获得或验证了什么、输出的哪些部分受影响。为完成交付物而编造、估算或插值所需数字,绝不被认可。明确说明缺口本身就是完整答案。
参考文件
- references/audit-template.md - 可填写的技术 SEO 审计模板。
- references/migration-checklist.md - 迁移前后检查清单(覆盖最高风险场景)。