用途
Bright Data MCP 是一个基于 Model Context Protocol(MCP)的全能服务器,为 AI 智能体提供稳定、实时的公共网页访问能力,底层依托 Bright Data 的 Web Unlocker 与代理基础设施。它面向需要突破反爬限制、进行规模化公开数据提取的智能体工作流。
主要能力
- 反爬与验证码绕过:当目标站点使用 Cloudflare、DataDome、Akamai 等反爬挑战拦截 curl、标准 fetch 或无头浏览器时使用。
- 搜索引擎结果抓取:从 Google、Bing、DuckDuckGo 提取搜索结果页(SERP),输出结构化 JSON。
- 大规模公开网页提取:抓取商品目录、评论、公开目录资料或新闻文章,避免因 IP 限流被封禁。
- 内置工具:
scrape_url:从任意 URL 获取干净的 HTML 或 Markdown 内容,自动执行 JavaScript 并解决验证码。search_engine:在 Google 上执行结构化查询,返回排序后的自然结果、赞助结果与摘要条目。extract_structured_data:将目标页面直接转换为经过校验的 JSON schema。
使用方式
在智能体配置(.mcp.json 或 IDE 设置)中注册 Bright Data MCP:
{
"mcpServers": {
"brightdata": {
"command": "npx",
"args": ["-y", "@brightdata/mcp"],
"env": {
"BRIGHTDATA_API_KEY": "YOUR_BRIGHTDATA_API_KEY"
}
}
}
}
配置时需将 YOUR_BRIGHTDATA_API_KEY 替换为实际的 Bright Data API Key。
适用场景
- 审计被拦截的端点:当外部目标 API 或网站端点因 IP 信誉返回 403 Forbidden 时,可通过 Bright Data MCP 路由请求,分析真实的响应头与载荷。
- 竞品与发布前研究:在不触发限流的情况下收集公开安全公告与竞品功能实现信息。
限制与说明
- 资料称 Bright Data 提供每月 5000 次请求的免费额度,且无需信用卡;其他收费、价格与平台支持细节暂未提供。
- 使用前需注册并获取 Bright Data API Key。
- 仅应访问公开网页数据,具体合规约束与使用条款资料未展开说明。