SuperAPI AI 工具集

brightdata-mcp

数据与分析

查看项目

更新于 11-10 17:22

技能介绍

用途

Bright Data MCP 是一个基于 Model Context Protocol(MCP)的全能服务器,为 AI 智能体提供稳定、实时的公共网页访问能力,底层依托 Bright Data 的 Web Unlocker 与代理基础设施。它面向需要突破反爬限制、进行规模化公开数据提取的智能体工作流。

主要能力

  • 反爬与验证码绕过:当目标站点使用 Cloudflare、DataDome、Akamai 等反爬挑战拦截 curl、标准 fetch 或无头浏览器时使用。
  • 搜索引擎结果抓取:从 Google、Bing、DuckDuckGo 提取搜索结果页(SERP),输出结构化 JSON。
  • 大规模公开网页提取:抓取商品目录、评论、公开目录资料或新闻文章,避免因 IP 限流被封禁。
  • 内置工具:
    • scrape_url:从任意 URL 获取干净的 HTML 或 Markdown 内容,自动执行 JavaScript 并解决验证码。
    • search_engine:在 Google 上执行结构化查询,返回排序后的自然结果、赞助结果与摘要条目。
    • extract_structured_data:将目标页面直接转换为经过校验的 JSON schema。

使用方式

在智能体配置(.mcp.json 或 IDE 设置)中注册 Bright Data MCP:

{
  "mcpServers": {
    "brightdata": {
      "command": "npx",
      "args": ["-y", "@brightdata/mcp"],
      "env": {
        "BRIGHTDATA_API_KEY": "YOUR_BRIGHTDATA_API_KEY"
      }
    }
  }
}

配置时需将 YOUR_BRIGHTDATA_API_KEY 替换为实际的 Bright Data API Key。

适用场景

  • 审计被拦截的端点:当外部目标 API 或网站端点因 IP 信誉返回 403 Forbidden 时,可通过 Bright Data MCP 路由请求,分析真实的响应头与载荷。
  • 竞品与发布前研究:在不触发限流的情况下收集公开安全公告与竞品功能实现信息。

限制与说明

  • 资料称 Bright Data 提供每月 5000 次请求的免费额度,且无需信用卡;其他收费、价格与平台支持细节暂未提供。
  • 使用前需注册并获取 Bright Data API Key。
  • 仅应访问公开网页数据,具体合规约束与使用条款资料未展开说明。