用途
Oxylabs MCP 是 Oxylabs 官方推出的 MCP(Model Context Protocol)服务器,旨在为 AI 模型与真实网页之间搭建桥梁。它使 AI 助手能够抓取任意 URL、渲染 JavaScript 较重的页面、提取并格式化内容供 AI 使用、管理验证码,并访问来自 195+ 个国家/地区的地理限制网页数据。
主要能力
Oxylabs MCP 提供两组工具,可一起或独立使用。
Oxylabs Web Scraper API 工具
- universal_scraper:抓取任意 URL,可选 JavaScript 渲染、地理定位,以及 Markdown/HTML/链接输出;
- google_search_scraper:从 Google 搜索提取结果,可选解析为结构化 JSON;
- amazon_search_scraper:抓取 Amazon 搜索结果页,可选解析为结构化 JSON;
- amazon_product_scraper:从 Amazon 单个产品页面提取数据。
Oxylabs AI Studio 工具
- ai_scraper:以 AI 驱动的提取方式抓取任意 URL 的内容,支持 JSON、CSV、Markdown 或 TOON 格式;
- ai_crawler:基于提示词从起始 URL 爬取网站,并跨多个页面收集数据;
- ai_browser_agent:基于提示词控制真实浏览器——导航、点击、填写表单——并返回结果;
- ai_search:搜索网络,并可选返回每个结果的 Markdown 内容;
- ai_map:映射网站的 URL,可按关键词或提示词过滤;
- generate_schema:为上述 AI 工具生成 OpenAPI 格式的 JSON 架构,用于结构化提取。
使用方式
前置条件
在开始前,需至少具备以下之一:
- Oxylabs Web Scraper API 账号:从 Oxylabs 获取用户名和密码(提供 1 周免费试用);
- Oxylabs AI Studio API 密钥:从 Oxylabs AI Studio 获取 API 密钥(1000 免费额度)。 若要在本地运行服务器(方式二),还需 uv 包管理器。
配置
有两种使用服务器的方式:连接托管实例(无需安装),或使用环境变量中的凭据在本地运行。
方式一:托管服务器(无需安装)
Oxylabs 运行一个托管 MCP 服务器。凭据通过请求头传递。
- 使用 Claude Code 设置;
- 使用 Cursor 或任何支持带自定义请求头的远程 MCP 服务器的客户端设置;
- 该服务器也列于 Smithery。 注意:仅支持 OAuth 的远程服务器客户端(例如在 claude.ai 网页界面中添加自定义连接器)尚无法传递请求头——OAuth 登录在我们的路线图中。在此期间,请对这些客户端使用下方的本地设置。
方式二:本地运行
Oxylabs MCP 服务器支持以下环境变量。根据提供的凭据,服务器会自动暴露相应的工具:
- 如果仅提供 OXYLABS_USERNAME 和 OXYLABS_PASSWORD,服务器暴露 Web Scraper API 工具;
- 如果仅提供 OXYLABS_AI_STUDIO_API_KEY,服务器暴露 AI Studio 工具;
- 如果三者都提供,服务器暴露全部工具。 重要:只设置你拥有真实凭据的环境变量。保留占位符值会导致暴露的工具无法工作。
从 PyPI 安装包并自动运行;或用于开发——从本仓库本地克隆运行服务器。服务器还支持 MCP 流式 HTTP 传输。使用 HTTP 传输时,凭据按请求传递,而非环境变量。
无论提供的凭据如何,所有工具始终列出;调用缺少所需凭据的工具会返回错误消息,说明需要配置什么。
客户端设置
- Claude:导航到 Claude → 设置 → 开发者 → 编辑配置,将上述配置之一添加到 claude_desktop_config.json 文件;
- Cursor:导航到 Cursor → 设置 → Cursor 设置 → MCP,点击添加新的全局 MCP 服务器,并添加上述配置之一。
服务器在通知/消息事件中提供有关工具调用的附加信息。
适用场景
- 从任意 URL 提取数据,包括复杂的单页应用;
- 使用无头浏览器支持完全渲染动态网站;
- 选择完整 JavaScript 渲染、仅 HTML 或无渲染;
- 模拟移动和桌面视口以实现真实渲染;
- 自动清理并将 HTML 转换为 Markdown 以提高可读性;
- 对 Google、Amazon 等热门目标使用自动解析器;
- 应对复杂的自动化请求管理系统,保持高成功率;
- 可靠地抓取即使是最复杂的网站;
- 从覆盖 195+ 个国家/地区的代理池获取自动轮换 IP;
- 根据需要设置渲染和解析选项;
- 将数据直接输入 AI 模型或分析工具。
限制
- 需要 Oxylabs 的凭据:Web Scraper API 账号(用户名和密码)或 AI Studio API 密钥,否则工具无法工作;
- 使用本地运行需要安装 uv 包管理器;
- 仅支持 OAuth 的远程服务器客户端暂时无法传递请求头,需改用本地设置;
- 调用工具时若缺少其所需的凭据,会返回错误消息。
平台支持
支持 macOS、Windows 和 Linux。具有全面的错误处理和报告,以及智能速率限制和请求管理。
为什么选择 Oxylabs MCP?
想象一下告诉你的 LLM“总结关于 GPT-5 的最新 Hacker News 讨论”——它直接回答。Oxylabs MCP 服务器通过替你完成枯燥的部分来实现这一点。
许可证
基于 MIT 许可证分发——详见 LICENSE。
Oxylabs 成立于 2015 年,是一家市场领先的网页情报收集平台,秉持最高的商业、伦理和合规标准,助力全球公司解锁数据驱动的洞察。
mcp-name: io.oxylabs/oxylabs-mcp
基于此 MCP 构建的解决方案:Michelin Detour。
官方 Oxylabs MCP 集成。