SuperAPI AI 工具集

bright-data-best-practices

数据与分析

查看项目

更新于 10-16 08:05

技能介绍

用途:为构建生产级 Bright Data 网页数据采集集成的开发者提供参考文档,帮助在编码助手辅助下选择并正确调用合适的 API。

主要能力与 API 选型:Web Unlocker 基于 HTTP,自动绕过机器人检测,适合按 URL 抓取静态页面,最经济;SERP API 专用于 Google、Bing、Yandex、DuckDuckGo 搜索结果结构化提取;Web Scraper API 提供 Amazon、LinkedIn、Instagram、TikTok 等 100+ 平台的预建爬虫,无需自行解析;Browser API 提供完整浏览器自动化(点击、滚动、填表、执行 JS、拦截 XHR),支持 Puppeteer、Playwright、Selenium,经 CDP/WebDriver 连接。需要使用自有 HTTP 客户端走原始代理时,转用相关 proxy 技能。

使用方式:认证统一,REST 集成需设置 BRIGHTDATA_API_KEY、BRIGHTDATA_UNLOCKER_ZONE、BRIGHTDATA_SERP_ZONE、BROWSER_AUTH 等环境变量;使用 bdata CLI 时由 bdata login 自动处理。Web Unlocker 与 SERP API 端点均为 POST https://api.brightdata.com/request,请求头用 Authorization: Bearer YOUR_API_KEY。Web Unlocker 必填 zone、url、format(raw 或 json),可选 method、country、data_format(markdown 或 screenshot)、async;SERP 通过 URL 参数控制,如 brd_json=1、gl、hl、start、tbm 等,start 取代已弃用的 num。Web Scraper API 提供同步端点 /datasets/v3/scrape(最多 20 个 URL)与异步端点 /datasets/v3/trigger,异步需轮询进度后下载快照,数据保留 30 天。Browser API 连接串为 wss://${AUTH}@brd.superproxy.io:9222(Selenium 用 9515)。

适用场景:按 URL 抓取网页、搜索引擎结果提取、电商与社交平台结构化数据采集、需要交互或反爬对抗的浏览器自动化。

限制与注意:切勿将 Web Unlocker 与 Puppeteer、Playwright、Selenium 或反检测浏览器混用,应改用 Browser API;Browser API 每个会话仅一次初始导航,空闲超时 5 分钟、最长 30 分钟;常见错误码 407(端口错误)、403(认证错误)、503(服务扩容);计费方面,SERP 按每 1000 次成功请求计费、异步取回不计费,Web Scraper 按交付记录计费且失败输入 URL 仍可能计费,Browser 按流量计费。资料未提供具体价格数值。