SuperAPI AI 工具集

crawlgraph-mcp

crawlgraph-mcp 是一个面向 CrawlGraph 外链情报 API(基于 Common Crawl 网页图)的 MCP 服务器,为 Claude、Cursor、Cline 等任意 MCP 客户端提供外链查询与竞品差距分析能力。它提供五个 MCP 工具:backlinks(外链查询)、backlink_changes(外链变化)、gap_analysis(差距分析)、gap_outreach_targets(外联目标发现)和 releases(发布版本清单)。外联工具仅用于识别研究候选对象,不会发送消息或创建联系人。支持 API 密钥(npm/stdio 与旧版 HTTP)和 OAuth 连接器两种认证方式,免费账户每月有 15 次外链调用、0 个差距任务,付费账户为 1,000 次外链调用和 50 个差距任务。

访问官网

工具介绍

用途

crawlgraph-mcp 是 CrawlGraph 外链情报 API 的 MCP 服务器,底层数据来自 Common Crawl 网页图。它让 Claude、Cursor、Cline 以及任何兼容 MCP 的客户端能够执行外链查询和竞品差距分析。

主要能力

该服务器提供五个 MCP 工具:

  • backlinks:外链查询。
  • backlink_changes:外链变化,与 backlinks 共用配额计数器。
  • gap_analysis:竞品差距分析。
  • gap_outreach_targets:外联目标发现。外联工具仅识别研究候选对象,不会发送消息或创建联系人。
  • releases:发布版本清单,不消耗研究配额。

使用方式

认证配置

有两种认证配置可选:

  1. API 密钥(npm / stdio 与旧版 HTTP):通过 CrawlGraph 的 API 入门流程获取密钥。免费密钥流程会通过电子邮件发送密钥,但不会让你登录账户。对于 Claude Desktop / Claude Code,将相应配置放入客户端的 MCP 配置中。Cursor、Windsurf、Cline 和 Zed 使用相同的命令/环境变量安排。可流式 HTTP 客户端可使用 https://crawlgraph.com/mcp 并携带自己的 bearer API 密钥。在依赖特定源功能之前,请先确认托管服务的 tools/list 响应。

  2. OAuth 连接器:当运营方启用经审核的服务后,使用现有 CrawlGraph 账户连接到 https://crawlgraph.com/mcp/connectors,在原始连接浏览器中登录并批准同意。账户创建不在 OAuth 流程内。签发者为 https://crawlgraph.com,确切资源为 https://crawlgraph.com/mcp/connectors,唯一作用域为 crawlgraph:read。公共客户端使用授权码加 S256 PKCE,token_endpoint_auth_method=none。

旧版 /mcp 也接受 Smithery 的 ?apiKey=… 和 base64 JSON ?config=… 形式。凭据优先级为:头部凭据 > apiKey > 打包配置。建议优先使用 Authorization 头部。连接器端点拒绝 API 密钥、查询凭据和打包配置;OAuth 令牌永远不会发送到公共 /api/v1 API。

配额

两种认证配置共享账户的 UTC 日历月计数器。免费账户有 15 次外链调用和 0 个差距任务;拥有当前付费访问权限的账户有 1,000 次外链调用和 50 个差距任务。付费资格遵循后端当前的权益规则。发布版本清单不消耗研究配额。backlink_changes 与 backlinks 共用计数器。

目录工具输入与成本

  • 目录列表默认 20 条,最大 100 条。
  • 完整的序列化 UTF-8 CallToolResult(包括结构化数据、文本和元数据)限制为 65,536 字节。
  • 差距工具在 90 秒工具预算内最多轮询 75 秒。待处理结果包含 job_id 和规范化请求。使用该句柄和查询恢复同一工具;同一所有者的新有效授权可在重新连接后恢复。轮询不消耗差距任务。超时、取消、网络丢失或工作进程过期后,切勿自动提交替代任务:已接受的任务可能仍会完成。取消会停止进一步轮询。已接受的提交仍会计费;丢失或格式错误的响应报告为消耗未知,而非声称零消耗。

外联工具

外联保留后端按竞品重叠度、权威性和域名的排名。平台过滤计数仅描述返回的后端样本。富化默认值为 0;显式请求 enrich_authority_top=N(0–5)可对保留目标额外进行最多 N 次外链调用。部分失败会保留已完成结果、逐项来源、实际已知费用、最新观察到的配额以及任何未知消耗。

旧版工具

旧版工具保留其原始字段和默认值:backlinks 在公共 API 默认 1,000 行,最大 10,000;外联使用 enrich_top,默认 10,最大 25,每次富化一次外链调用。旧版差距工具在其现有的 90 秒窗口内提交和轮询,没有目录 job_id 输入。在估算配额使用前,请检查所选配置。

结果解读

Common Crawl 是周期性观察,不是实时链接监控。命名的发布版本来源不能证明某个页面当前链接到目标。被移除的引用域意味着在新快照中未被观察到,而非证明已实时删除。不可用比较不同于零变化;未知总数和源上限下界不同于完全空结果。差距来源在执行时保存,并在后续轮询中保留。较旧的未认证产物报告 legacy_unverified 和空发布版本标识。引用域重叠仅提示研究候选对象,并不意味着发布者从未听说过你。

示例研究提示:

Find backlink gaps for mine.example against a.example and b.example. If pending, resume the returned job without resubmitting. Report provenance, caps and quota use before proposing any optional authority enrichment.

适用场景

  • 为 Claude、Cursor、Cline 等 MCP 客户端提供外链研究能力。
  • 竞品外链差距分析。
  • 发现外联研究候选目标。

限制

  • 目录审批和真实的 Claude/OpenAI 兼容性验证仍待完成。未声称获得 Verified 列表或徽标。
  • 此检出源码版本为 0.4.0;这不代表当前 npm 或托管版本。请通过 DEPLOY.md 中链接的运营方运行手册分别验证每个分发版本。
  • 机密客户端方法和元数据文档获取不受支持。回调必须是运营方批准的精确 HTTPS URL。OpenAI 的回调必须来自实际门户;此仓库不提供猜测的回调。
  • 授权和代码交换需要确切的原始资源值。
  • 刷新轮换没有重试宽限期:并发重用会撤销整个家族,丢失令牌响应可能需要重新连接。
  • 节点将有限的 JSON 遥测写入 stderr,日志省略参数、域名、结果、作业/账户/授权/客户端/源 ID、调用方请求 ID、异常文本、URL、头部、配置和凭据。
  • OAuth 源准入仅在本地桶键中按 /64 对 IPv6 地址分组;映射的 IPv4 地址使用与其 IPv4 形式相同的桶。
  • 构建同时是 TypeScript 检查;未配置单独的 lint 脚本。测试使用已安装的 SDK、本地 HTTP 夹具和伪造的私有/公共后端回复,需要绑定回环套接字的权限,从不需要生产凭据或实时提供商访问。Node 夹具不能证明后端的 SQLite 事务、配额隔离或查询固定;这些由单独的 crawlback 后端 HTTP 测试和完整发布门禁覆盖。