用途
crawlgraph-mcp 是 CrawlGraph 外链情报 API 的 MCP 服务器,底层数据来自 Common Crawl 网页图。它让 Claude、Cursor、Cline 以及任何兼容 MCP 的客户端能够执行外链查询和竞品差距分析。
主要能力
该服务器提供五个 MCP 工具:
- backlinks:外链查询。
- backlink_changes:外链变化,与 backlinks 共用配额计数器。
- gap_analysis:竞品差距分析。
- gap_outreach_targets:外联目标发现。外联工具仅识别研究候选对象,不会发送消息或创建联系人。
- releases:发布版本清单,不消耗研究配额。
使用方式
认证配置
有两种认证配置可选:
-
API 密钥(npm / stdio 与旧版 HTTP):通过 CrawlGraph 的 API 入门流程获取密钥。免费密钥流程会通过电子邮件发送密钥,但不会让你登录账户。对于 Claude Desktop / Claude Code,将相应配置放入客户端的 MCP 配置中。Cursor、Windsurf、Cline 和 Zed 使用相同的命令/环境变量安排。可流式 HTTP 客户端可使用 https://crawlgraph.com/mcp 并携带自己的 bearer API 密钥。在依赖特定源功能之前,请先确认托管服务的 tools/list 响应。
-
OAuth 连接器:当运营方启用经审核的服务后,使用现有 CrawlGraph 账户连接到 https://crawlgraph.com/mcp/connectors,在原始连接浏览器中登录并批准同意。账户创建不在 OAuth 流程内。签发者为 https://crawlgraph.com,确切资源为 https://crawlgraph.com/mcp/connectors,唯一作用域为 crawlgraph:read。公共客户端使用授权码加 S256 PKCE,token_endpoint_auth_method=none。
旧版 /mcp 也接受 Smithery 的 ?apiKey=… 和 base64 JSON ?config=… 形式。凭据优先级为:头部凭据 > apiKey > 打包配置。建议优先使用 Authorization 头部。连接器端点拒绝 API 密钥、查询凭据和打包配置;OAuth 令牌永远不会发送到公共 /api/v1 API。
配额
两种认证配置共享账户的 UTC 日历月计数器。免费账户有 15 次外链调用和 0 个差距任务;拥有当前付费访问权限的账户有 1,000 次外链调用和 50 个差距任务。付费资格遵循后端当前的权益规则。发布版本清单不消耗研究配额。backlink_changes 与 backlinks 共用计数器。
目录工具输入与成本
- 目录列表默认 20 条,最大 100 条。
- 完整的序列化 UTF-8 CallToolResult(包括结构化数据、文本和元数据)限制为 65,536 字节。
- 差距工具在 90 秒工具预算内最多轮询 75 秒。待处理结果包含 job_id 和规范化请求。使用该句柄和查询恢复同一工具;同一所有者的新有效授权可在重新连接后恢复。轮询不消耗差距任务。超时、取消、网络丢失或工作进程过期后,切勿自动提交替代任务:已接受的任务可能仍会完成。取消会停止进一步轮询。已接受的提交仍会计费;丢失或格式错误的响应报告为消耗未知,而非声称零消耗。
外联工具
外联保留后端按竞品重叠度、权威性和域名的排名。平台过滤计数仅描述返回的后端样本。富化默认值为 0;显式请求 enrich_authority_top=N(0–5)可对保留目标额外进行最多 N 次外链调用。部分失败会保留已完成结果、逐项来源、实际已知费用、最新观察到的配额以及任何未知消耗。
旧版工具
旧版工具保留其原始字段和默认值:backlinks 在公共 API 默认 1,000 行,最大 10,000;外联使用 enrich_top,默认 10,最大 25,每次富化一次外链调用。旧版差距工具在其现有的 90 秒窗口内提交和轮询,没有目录 job_id 输入。在估算配额使用前,请检查所选配置。
结果解读
Common Crawl 是周期性观察,不是实时链接监控。命名的发布版本来源不能证明某个页面当前链接到目标。被移除的引用域意味着在新快照中未被观察到,而非证明已实时删除。不可用比较不同于零变化;未知总数和源上限下界不同于完全空结果。差距来源在执行时保存,并在后续轮询中保留。较旧的未认证产物报告 legacy_unverified 和空发布版本标识。引用域重叠仅提示研究候选对象,并不意味着发布者从未听说过你。
示例研究提示:
Find backlink gaps for mine.example against a.example and b.example. If pending, resume the returned job without resubmitting. Report provenance, caps and quota use before proposing any optional authority enrichment.
适用场景
- 为 Claude、Cursor、Cline 等 MCP 客户端提供外链研究能力。
- 竞品外链差距分析。
- 发现外联研究候选目标。
限制
- 目录审批和真实的 Claude/OpenAI 兼容性验证仍待完成。未声称获得 Verified 列表或徽标。
- 此检出源码版本为 0.4.0;这不代表当前 npm 或托管版本。请通过 DEPLOY.md 中链接的运营方运行手册分别验证每个分发版本。
- 机密客户端方法和元数据文档获取不受支持。回调必须是运营方批准的精确 HTTPS URL。OpenAI 的回调必须来自实际门户;此仓库不提供猜测的回调。
- 授权和代码交换需要确切的原始资源值。
- 刷新轮换没有重试宽限期:并发重用会撤销整个家族,丢失令牌响应可能需要重新连接。
- 节点将有限的 JSON 遥测写入 stderr,日志省略参数、域名、结果、作业/账户/授权/客户端/源 ID、调用方请求 ID、异常文本、URL、头部、配置和凭据。
- OAuth 源准入仅在本地桶键中按 /64 对 IPv6 地址分组;映射的 IPv4 地址使用与其 IPv4 形式相同的桶。
- 构建同时是 TypeScript 检查;未配置单独的 lint 脚本。测试使用已安装的 SDK、本地 HTTP 夹具和伪造的私有/公共后端回复,需要绑定回环套接字的权限,从不需要生产凭据或实时提供商访问。Node 夹具不能证明后端的 SQLite 事务、配额隔离或查询固定;这些由单独的 crawlback 后端 HTTP 测试和完整发布门禁覆盖。