geo-crawlers 是一个用于审查网站对 AI 爬虫开放策略的技能,属于生成式引擎优化(GEO)任务中的爬虫访问审计环节。其目的是把站点现有的 robots.txt、页面标签、响应头和相关文件整理成一份可复核的访问报告,帮助发布者判断自身策略是否符合其许可、隐私、负载与搜索目标。
主要能力
- robots.txt 抓取与解析:限定授权 HTTPS 源与公开目标,记录错误与状态,区分“缺少规则”与“抓取失败”;解析所有 User-agent 与 Allow/Disallow,按 RFC 9309 合并分组、以最长路径匹配判定有效访问,允许与禁止同等具体时以 Allow 优先。
- 已知爬虫区分:资料列出 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Google-Extended 等已在来源中核实的令牌及其用途差异,强调训练抓取、搜索索引与用户发起请求彼此独立;PerplexityBot、GoogleOther、Applebot-Extended、Amazonbot、FacebookBot、CCBot、Bytespider、cohere-ai 与历史 anthropic-ai 等名称仅作为待按各运营方当前文档核实的线索,不得据名单推断其当前行为或商业价值。
- 页面级检查:抽取 5 至 10 个关键页面,检查 meta robots 的 noindex、nofollow、noai、noimageai 及爬虫专用标签,并检查 X-Robots-Tag 响应头,记录页面级覆盖情况。
- AI 专用文件:检查 /llms.txt(可选提案)、/ai.txt 以及历史性 /.well-known/ai-plugin.json,记录存在与否及质量。
- 渲染与发现:比较原始响应与授权渲染页面,标记关键内容是否依赖 JavaScript,并建议 SSR/SSG 作为缓解手段;检查 Sitemap 指令。
- Content-Signal 解析:在已抓取的 robots.txt 中扫描该可选扩展指令,校验 ai-train、search、ai-input 键与 yes/no 值,标记未知键或非法值,说明其仅为提议性声明,不代表爬虫行为。
使用方式 先做只读分析,未经明确批准不发布、部署或修改目标站点。流程为:抓取 robots.txt → 解析规则并判定各爬虫状态 → 抽样检查 meta 与响应头 → 检查 AI 专用文件 → 评估 JavaScript 渲染 → 解析 Content-Signal → 输出 GEO-CRAWLER-ACCESS.md。报告包含爬虫访问汇总表(爬虫、运营方、层级、状态、影响)、可选的 AI 可见性分层评分、关键问题、即时行动建议、推荐 robots.txt 内容及附加技术发现。评分是基于分层的内部盘点辅助,不是平台实测分数,不应因主动退出训练或缺少可选 llms.txt 而视为搜索缺陷,未知访问应标为未知而非通过。
适用场景 适用于需要对网站做 AI 爬虫访问审计、撰写客户报告、检查 robots 与页面标签是否一致、评估是否开放训练或搜索抓取的发布者。
限制 审计仅作只读分析;User-Agent 文本可被伪造,需以运营方公布的源 IP 与方法核实日志流量;实际抓取还受 WAF/CDN 策略、robots 状态与缓存影响;robots.txt 不能充当访问控制,私有页面仍需认证;noai、noimageai 等属非标准提案,不能假定被强制执行;该技能为文档导入,上游脚本、代理、钩子与模板未随附。