用途：该技能针对 IsAgentReady.com 的“AI 内容发现”类别（占 30% 权重）问题，检查 AI 系统能否找到、抓取并理解网站内容，共 7 个检查点、满分 100 分。适用于修复 robots.txt 缺失或内容类型错误、添加 AI 爬虫指令、创建或修复 XML 站点地图、创建 llms.txt 或 llms-full.txt、移除限制性 meta robots 标签、修复 WAF/CDN 拦截爬虫、添加内容新鲜度信号等任务。不适用于结构化数据、语义 HTML、智能体协议或安全头配置。
主要能力与检查点：1.8 HTTP 机器人可访问性（15 分），页面返回 200-299 而非 401/403；1.1 robots.txt 存在（15 分），返回 200 且 Content-Type 为 text/plain；1.2 AI 爬虫指令（15 分），为 13 个 AI 用户代理配置 Allow/Disallow；1.3 XML 站点地图（15 分），含 urlset 或 sitemapindex 的有效 XML；1.4 llms.txt（15 分），含 markdown 标题与 URL，附带 llms-full.txt 有加分；1.5 Meta robots / X-Robots-Tag（15 分），无 noindex、noai 等限制指令；1.6 内容新鲜度信号（10 分），含 dateModified、article:modified_time 或 Last-Modified。
使用方式：先根据扫描结果定位失败检查点，按对应修复流程操作，并用 curl 验证，例如 curl -sI -A "Mozilla/5.0 (compatible; GPTBot/1.0)" https://example.com/ 与 curl -sI https://example.com/robots.txt | grep -i content-type。涉及 13 个 AI 用户代理，包括 GPTBot、ChatGPT-User、OAI-SearchBot、ClaudeBot、Claude-User、Claude-SearchBot、Google-Extended、Amazonbot、Bytespider、CCBot、PerplexityBot、Applebot-Extended、meta-externalagent。修复后可在 isagentready.com 重新扫描确认。
限制：资料未提供该技能的收费、价格、平台支持范围或实际效果数据；具体修复需结合用户站点域名与服务器配置调整。