seo-crawlability

用途\nseo-crawlability（M1）聚焦通用爬取访问：若搜索引擎无法抓取页面及其资源，其他搜索信号都无从谈起。AI 专用爬虫指令与 AI 发现文件不在本模块，分属 seo-ai-crawlers（M14）与 seo-ai-discovery（M21）。\n\n输入\n依据分派信封中的 PageSnapshot：从 <run_dir>/pages/<slug>.json 读取解析结果及 status_chain、headers，从 <run_dir>/site/robots.json 读取 robots 语法、分组与 Googlebot/Bingbot 判定、Sitemap 行；用 Grep 在 pages/<slug>.html 中取原文证据。已由 audit.mjs 生成的确定性发现记录在 <run_dir>/findings.deterministic.json，不重复输出其 id，只补充模型判断的发现。若直接以 URL 或路径调用且无快照，先运行 node "${CLAUDE_PLUGIN_ROOT}/scripts/snapshot.mjs" <target> --out "${CLAUDE_PLUGIN_DATA}/runs"，再使用其输出的快照路径。\n\n审计项\n可达性：/robots.txt 返回 200；404 表示全站允许但值得提示；5xx 会暂停抓取。语法：每行是合法指令（User-agent、Disallow、Allow、Sitemap、Crawl-delay），标记未知标记、缺少 User-agent 组头、BOM/编码问题。资源屏蔽：Disallow 命中 CSS/JS、字体或 /wp-includes/ 类路径会破坏渲染。内容屏蔽：隐藏重要可索引路径的 Disallow。Crawl-delay 合理性：过大的延迟或作用于全局组会消耗抓取预算；Googlebot 忽略 Crawl-delay，Bingbot 遵守。Sitemap 指令：至少存在一条绝对 Sitemap URL。总体访问：针对被审计 URL 解析 Googlebot 与 Bingbot 的有效规则集，看最终是否允许。\n\n修复\n生成 diff 并映射到 schema 的 fixable 字段：AUTO 包括移除误伤的 CSS/JS 或关键内容路径的 Disallow、补充缺失的绝对 Sitemap 行、修复语法错误（如 Dissallow 拼写、缺冒号、无 User-agent 组头）；PROPOSED 包括收紧 Crawl-delay 或重构 User-agent 组，需逐项确认；ADVISORY 涉及有意屏蔽的私有/预发路径，工具不写入。不得编造 sitemap URL 或路径，未知时输出明确标注的 TODO 占位或询问。\n\n验证\n运行 node "${CLAUDE_PLUGIN_ROOT}/scripts/parse-robots-sitemap.mjs" --url <final_url> --path <audited path>，抓取并解析 robots.txt，针对被审计路径（非根路径）解析 Googlebot/Bingbot 的有效允许/拒绝，并检查 Sitemap 指令；离线可用 --robots <robots_url> 或 --file <path>。无法抓取时状态为 needs_api，不得判为通过。\n\n发现与诚实性\n按 schema/finding.schema.json 输出，axis 为 search。严重度 5 保留给站点或模板级、直接影响资格的问题；4 重大、3 中、2 轻、1 外观、0 信息性；仅活跃类别中确认的严重度 5 失败才可封顶评分。主要 id 包括 M1.robots.blocks_googlebot（严重度 5，fixable: proposed）、M1.robots.blocks_css_js（4，auto）、M1.robots.unreachable（站点级 5，advisory）、M1.robots.syntax_error（3，auto）、M1.sitemap.missing_directive（2，auto，direction 置信）、M1.crawl_delay.excessive（2，proposed）。另有 6 个平台条件 id，仅在 profile.json 指定 shopify、wordpress 或 nextjs 时触发。每条发现需附 robots.txt 原文引用、可运行复现命令与带置信度的预期影响。注意：robots.txt 控制抓取而非索引，被 Disallow 的页面仍可能因外链仅 URL 被索引；要排除索引应使用 noindex 而非同时 Disallow。缺失或 404 的 robots.txt 不是缺陷，仅作信息提示；5xx 在持续期间等同全站禁止。判定须针对被审计路径而非根路径。在 preview/staging/local 环境下全局 Disallow: / 属预期配置，评分器会抑制相关封顶。