用途
Decodo MCP Server 是一个面向 AI 智能体的网页抓取层。它通过 MCP（模型上下文协议）把 MCP 兼容客户端连接到 Decodo 的 Web Scraping API，主要用途包括：为 LLM 提供网页抓取能力、为 RAG 提供实时数据检索、支持 AI 智能体浏览与研究、从动态网站提取结构化数据。用户无需自行维护代理、解析器和重试逻辑，只需一个集成点即可获得可靠的网页数据访问。
主要能力
- 面向 AI 智能体的网页抓取，无需基础设施：可抓取任意网站（包括 JavaScript 较重的页面），无需自行处理代理轮换、CAPTCHA 破解或反机器人系统。
- 面向 LLM 工作流的结构化输出：Markdown（适合 LLM）、JSON（适合结构化管道）和截图（提供视觉上下文），可用于 RAG 管道、AI 研究智能体和自动化流程。
- 内置热门目标支持：为 Google 和 Bing（搜索结果页）、Amazon、Walmart 和 Target（电商）、Reddit、TikTok 和 YouTube（社交媒体）以及 ChatGPT 和 Perplexity（AI 搜索）提供现成工具。
- 全球代理基础设施：超过 1.25 亿个住宅 IP，覆盖 195 个以上地理位置，对防护严格的目标也可达到 99.99% 成功率。
- 模块化 MCP 工具集：可按需启用 web、search、ecommerce、social_media、ai，使工具选择更清晰、智能体表现更好。
- 快速上手：从获取 API 密钥到完成首次抓取只需几分钟，无需额外设置。
使用方式
前提条件：在 dashboard.decodo.com 创建免费账户（最多 2K 免费请求，无需信用卡）；获取 API 密钥（从仪表盘的 Web Data API 订阅中复制 Web Data API key，较旧方案提供的基础认证 token 同样可用）；安装 Node.js 18+；准备 MCP 客户端（如 Claude Desktop、Cursor、Windsurf 或其他 MCP 兼容工具）；在 AI 客户端中配置 MCP 服务器。
配置示例（本地服务器会从 SCRAPER_API_TOKEN 读取凭据并自动识别类型）：
- Claude Desktop：打开 Settings → Developer → Edit Config，将配置添加到 claude_desktop_config.json，保存并重启。
- Cursor：打开 Settings → MCP，点击 Add a new global MCP server（打开 mcp.json），添加相同配置，保存后查看 Decodo 旁的绿色状态指示。
- Windsurf：打开 Settings → Windsurf Settings，滚动到 Cascade → Add custom server +（打开 mcp_config.json），保存并重启 Windsurf。
连接完成后可测试：在客户端中输入提示词“Scrape the titles of the top 5 articles from Hacker News”，应在数秒内得到结构化列表。若出现认证错误，请在仪表盘检查 API 密钥。
本地运行该 MCP 服务器：需要 MCP 客户端（常用为 Claude Desktop 和 Cursor）。步骤如下：克隆该仓库；在终端运行命令；记录构建位置（在该目录末尾加上 index.js，构建文件位置形如对应路径）；用服务器信息更新 MCP 客户端。
按需启用特定工具集：工具按工具集组织，可通过 toolsets 查询参数传入逗号分隔的列表来选择性启用。未指定工具集时，注册全部工具。
限制响应 token 数：若智能体上下文窗口较小，抓取返回的内容会自动截断以避免上下文溢出；可在提示词中增加返回的 token 数。若智能体上下文窗口较大，可要求返回完整内容。
抓取受地理限制的内容：向 AI 智能体提出相应提示词，会得知某站点（示例为 peacock.com）存在地理限制，可通过相应方式绕过地理限制。
与 Decodo agent skills 配合使用：该服务器为智能体提供抓取工具，Decodo/agent-skills 则教会智能体何时使用、使用哪个界面以及如何调用，使其自主选择正确的工具与参数。技能可在 decodo CLI、托管 MCP 服务器和原始 HTTP API 之间路由，并在无 shell 可用时自动回退到 MCP 服务器。二者结合即同时提供执行层（本服务器）与决策层（技能）。Claude Code 快速开始见仓库说明；手动安装及其他智能体（Cursor、Codex、Gemini CLI、Windsurf）见 agent-skills README。
适用场景
- AI 驱动的网页抓取：让 LLM 收集最新数据，而非依赖静态训练数据。
- 带实时数据的 RAG：将实时的 Google、Bing 和 AI 搜索结果拉入检索管道。
- 电商情报：跨市场跟踪商品价格、列表和卖家而不被屏蔽。
- 社交媒体数据收集：从 Reddit、TikTok 和 YouTube 收集帖子、频道和互动数据。
- 旅行与价格聚合：构建跨网站收集实时价格和可用性的工具。
限制
资料未提供具体价格方案、请求速率限制、支持语言的完整列表以及各工具的具体参数细节；抓取结果可能受目标网站反爬策略和地理限制影响，需要相应的代理或绕过方法。代码以 MIT 许可证发布。
