用途
crawl-readiness-mcp 是一个 MCP（Model Context Protocol）服务器，用于评估网站的“AI 就绪度”，即 ChatGPT、Claude、Perplexity、Google AI 等 50 多个 AI 爬虫能否访问网站内容。它同时提供修复生成能力，可在 AI 客户端内直接生成 llms.txt、面向 AI 爬虫的 robots.txt 和 JSON-LD 结构化数据，并读取 LLM Monitor 的品牌提及趋势。
主要能力
该服务器提供八个可供 AI 助手调用的工具，分为审计、生成和监控三类。
审计类（无需注册）：
- check_ai_readiness：针对 50 多个 AI 爬虫对网站进行 0–100 评分，并给出按优先级排列的修复清单；不影响评分的额外项会被标记。
- validate_schema：审计任意 URL 上的 JSON-LD 结构化数据，支持 20 多种类型及按类型规则。
- validate_robots：逐行审计 robots.txt。
- check_content_parity：比较人类看到的内容与 AI 爬虫看到的内容。
生成类（需要免费 API 密钥）：
- generate_llms_txt：自动抓取网站并生成格式正确的 llms.txt。
- generate_robots_txt：生成面向 AI 爬虫的 robots.txt，支持预设策略。
- generate_schema：生成可直接粘贴的 Organization / WebSite / Article JSON-LD。
监控类（只读，需要免费 API 密钥）：
- get_monitor_trend：查看 ChatGPT、Claude、Perplexity 和 Google AI 是否提及你的品牌及与竞品的对比，以及逐周趋势；读取你的 LLM Monitor 项目，不触发运行。
使用方式
Claude Desktop 一键安装：从最新 release 下载 crawl-readiness-mcp-<version>.mcpb 并双击（或拖入 Claude Desktop 窗口）。Claude Desktop 会显示扩展功能并询问可选的 API 密钥。该捆绑包自带服务器及其依赖，无需安装其他内容。
Claude Code 插件方式：该仓库同时是一个 Claude 插件，根目录的 .mcp.json 会启动服务器（固定到当前版本），ai-readiness 技能会告诉 Claude 何时使用哪个工具以及如何解读结果。在 Claude 目录中列出后即可添加。在此之前，可克隆仓库并加载启动 Claude Code。Claude Code 在启用插件时询问可选 API 密钥并保存在安全存储中，插件自身文件不包含密钥。
Claude Desktop 手动配置：打开配置文件（macOS：~/Library/Application Support/Claude/claude_desktop_config.json；Windows：%APPDATA%\Claude\claude_desktop_config.json），在 mcpServers 块中添加配置，重启 Claude Desktop 后可在工具面板看到 “crawl-readiness”。
Cursor：打开 Cursor Settings → Features → Model Context Protocol → Add new global MCP server。
Cline / Windsurf / Continue：同样方式，在 MCP 服务器列表中添加 crawl-readiness，命令为 npx -y crawl-readiness-mcp。
解锁生成工具：四个审计工具开箱即用，无需注册。三个生成工具需要 API 密钥，可在 crawlreadiness.com/dashboard 免费获取（免费层每月 50 次检查，无需信用卡）。获取密钥后，在同一配置中通过 env 添加，重启客户端后八个工具均可调用。
示例提示词：安装后可在 AI 客户端中尝试，例如“Is my portfolio site AI-readable? URL: yourdomain.com”“Check if ChatGPT can see acme-inc.com”“Validate the JSON-LD on stripe.com — is anything missing?”“Compare what humans see vs what AI crawlers see on producthunt.com”“Generate an llms.txt for my site and save it to /public/llms.txt”“My site scored 68/100 — walk me through the fixes”。AI 可自动串联工具：审计、识别问题、修复并写入项目文件，无需手动复制粘贴。
工具返回内容
每个工具返回 Crawl Readiness API 的完整 JSON 响应，与网页仪表盘渲染的数据相同。例如 check_ai_readiness 返回评分、每个爬虫的 robots.txt 状态、结构化数据标志、首页信号、按优先级排列的修复清单（标记 extra: true 的修复为可选且不计分）；validate_schema 返回每个块的问题（错误、警告、信息）和建议的缺失类型；validate_robots 返回逐行问题和 AI 机器人覆盖摘要；check_content_parity 返回结论、每个爬虫的 HTTP 状态、词重叠百分比和警告；generate_llms_txt 返回文件内容和配套 robots.txt 片段；generate_robots_txt 返回应用 AI 策略后的合并 robots.txt；generate_schema 返回每种检测到的 schema 类型的 JSON-LD 脚本；get_monitor_trend 返回每个品牌的提及率、声量份额、按提供商细分、竞品对比、随时间趋势和简短示例回答。
数据发送与隐私
每个工具仅向 https://www.crawlreadiness.com 发起 HTTPS 请求，不向其他地方发送。离开本机的内容包括：你询问的网站地址（生成器还包括输入内容）、配置的 API 密钥（如有）以及 crawl-readiness-mcp/<version> 用户代理。服务器不在本地存储任何内容，不运行其他程序，不读取文件；将生成文件写入项目由 AI 客户端在你许可下完成。服务自身的数据处理见 crawlreadiness.com/privacy。
插件的 .mcp.json 启动已发布的 npm 包并固定到与仓库相同的版本（npx -y crawl-readiness-mcp@<version>），因此运行的是该标签下本仓库的代码。
适用场景
适用于希望在 AI 助手内完成“审计 → 修复 → 应用”闭环的开发者、SEO 从业者和网站运营者，无需在编辑器和另一个 SEO 工具之间复制粘贴。支持 Claude Desktop、Cursor、Cline、Windsurf 等 MCP 客户端。
限制
生成类工具和监控类工具需要免费 API 密钥；免费层每月 50 次检查。审计类工具无需注册。该服务器本身不存储数据、不读取文件，文件写入由 AI 客户端执行。
其他信息
文档：crawlreadiness.com/mcp；问题反馈：github.com/Grubbomatic/crawl-readiness-mcp/issues；邮箱：support@crawlreadiness.com。Crawl Readiness 是一套 AI-SEO 工具，检查 AI 系统能否访问网站并帮助修复被阻止的内容。该 MCP 服务器中的每个生成工具也可在 crawlreadiness.com/tools 网页上使用。许可证：MIT © 2026 Crawl Readiness / Tundrastone。发布（维护者）：npm run release 验证 server.json 并打印发布步骤；最后一步使用 mcp-publisher CLI，该 CLI 不属于本仓库，需从 MCP Registry releases 下载并放在 PATH 或仓库根目录（在仓库根目录已被 git 忽略）。
