用途：该技能用于配置、审计和优化 robots.txt，控制搜索引擎与 AI 爬虫对站点的访问，并排查因规则误配导致的抓取与索引问题。
主要能力：审查 Disallow/Allow 规则，避免屏蔽重要页面；确保爬虫（含 AI 爬虫）能访问关键页面；检查是否因 robots.txt 误配而阻挡索引；梳理 AI 爬虫策略，区分搜索类与训练类爬虫；支持通过 Clean-param 清理查询参数（Yandex）。
使用方式：首次使用时可先说明技能覆盖范围与意义，再输出主要结果；后续使用或用户要求跳过时直接输出。先检查是否存在 .claude/product-marketing-context.md 或 .cursor/product-marketing-context.md，以获取站点 URL 与索引目标。明确站点 URL、索引范围（整站、部分或排除特定路径）以及 AI 爬虫策略。输出通常包括：当前状态（审计时）、推荐的完整 robots.txt、合规检查清单。
核心指令：User-agent、Disallow、Allow、Sitemap、Clean-param。文件位于站点根目录如 https://example.com/robots.txt，UTF-8 纯文本，遵循 RFC 9309。Sitemap 需写绝对 URL。
AI 爬虫典型策略：OAI-SearchBot、Claude-SearchBot、PerplexityBot 通常允许；GPTBot、ClaudeBot、Google-Extended、CCBot 通常禁止。
限制与注意：robots.txt 控制抓取访问，但不阻止索引，被禁止的 URL 仍可能出现在搜索结果中（无摘要）；敏感内容应使用 noindex meta 或鉴权，因为 robots.txt 可被公开读取；规则属建议性质，恶意爬虫可能忽略；不要屏蔽 CSS、JS、图片等渲染资源，仅屏蔽无需抓取的路径，如 admin、API、临时文件；robots.txt 与 noindex 互补，robots 用于路径级抓取控制，noindex 用于页面级索引控制。相关技能包括 seo-technical-sitemap 与 seo-technical-crawlability。