SuperAPI AI 工具集

bright-data-best-practices

数据与分析

查看项目

更新于 10-15 20:34

技能介绍

用途:为使用编码助手的开发者提供 Bright Data 网页数据采集 API 的集成参考,强调按场景选择最合适的接口。

主要能力与选型:Web Unlocker 适合按 URL 抓取静态页面,基于 HTTP 自动绕过机器人检测,成本最低;SERP API 用于 Google、Bing、Yandex、DuckDuckGo 搜索结果的结构化提取;Web Scraper API 提供 100+ 平台的预置爬虫,直接返回结构化数据,无需自行解析;Browser API 支持完整浏览器自动化,可点击、滚动、填表、执行 JS、拦截 XHR,并兼容 Puppeteer、Playwright、Selenium。

认证:所有接口共用同一套认证模型,通过环境变量配置 API Key、各 Zone 名称及浏览器凭据;Web Unlocker 与 SERP API 使用 Authorization: Bearer YOUR_API_KEY 请求头。

用法要点:Web Unlocker 与 SERP API 均向 https://api.brightdata.com/request 发送 POST 请求,可指定 zone、url、format,并支持 country 地理定位、data_format 转 markdown 或截图、async 异步模式。SERP 通过 brd_json=1 获取解析后的 JSON,含 organic、paid、people_also_ask 等字段,分页用 start,num 参数自 2025 年 9 月起弃用。Web Scraper API 同步端点最多 20 个 URL,异步需轮询 progress 状态(starting→running→ready|failed),数据保留 30 天。Browser API 通过 CDP/WebDriver 连接,支持 Captcha.solve、Proxy.setLocation、Emulation.setDevice 等自定义 CDP 函数。

限制:Web Unlocker 不可与 Puppeteer、Playwright、Selenium 或反检测浏览器搭配,应改用 Browser API。Browser API 每个会话仅一次初始导航,空闲超时 5 分钟,最长 30 分钟。计费方面,SERP 按每千次成功请求计费,异步取回不计费;Web Scraper 按交付记录计费,失败 URL 仍计费;Browser API 按流量计费。

资料未提供具体价格、平台覆盖清单及完整代码示例,相关细节暂未提供。