SuperAPI AI 工具集

site-crawlability

通用与其它

查看项目

更新于 10-15 23:47

技能介绍

用途:改善搜索引擎与 AI 爬虫对站点的抓取效率,属于技术 SEO 的 P0 环节,可配合 seo-strategy、website-structure、robots-txt、xml-sitemap、indexing、internal-links、canonical-tag、rendering-strategies、generative-engine-optimization 等相关技能使用。

主要能力:修复多跳重定向与重定向环,让链接直指最终 URL;排查并修复 4xx 内外部死链(301 或移除);优化站点层级,使重要页面距首页 3–4 次点击可达;为无入链的孤立页面补充内链;用传统分页替代无限滚动以利抓取;减少重复、重定向与低价值 URL 造成的抓取预算浪费;针对 AI 爬虫优化,将关键内容放入首屏 HTML。

使用方式:先读取项目根目录的 contextus.md 并仅加载相关模块;若没有该文件,则依据现有项目资料或用户提供信息,缺失处主动询问,不另建并行上下文系统。需先识别站点结构(扁平或深层层级)、所用框架(如 Next.js、静态、SPA)、关键路径(sitemap、robots.txt、API、静态资源)。首次使用时可用 1–2 句说明该技能覆盖范围与价值,再给出主输出;后续或用户要求跳过时直接输出。输出可含重定向审计、死链审计、站点结构问题、分页实现、AI 爬虫的 SSR/URL/重定向检查。

关键实践:无限滚动场景下,应把内容切分为无需 JavaScript 即可访问的分页页,每页唯一 URL(如 ?page=1、?lastid=567),条目不跨页重复,URL 可在新标签打开,配合 pushState/replaceState,越界页码返回 404;sitemap 只收录可索引的规范化 URL;避免分面筛选等造成的无限 URL 生成。AI 爬虫不执行 JS,需用 SSR、ISR 或 SSG 把关键内容放入初始 HTML,保持 sitemap 更新、URL 模式一致,修复重定向链与 404。

限制:资料未提供该技能的收费、价格与具体安装命令,暂未提供。相关数据(如 AI 爬虫占 Googlebot 抓取量约 28%、约 34% 请求命中 404、约 14% 跟随重定向、大型站点约 30% 抓取预算浪费)来自资料引述的研究,实际效果因站点而异。