用途:通过 Bright Data 的 API 查询数据集市场、搜索其自有网页存档(类似 Wayback),并按需付费转储页面或抓取实时网页。
主要能力:
- 数据集市场:GET /datasets/list 可列出约 1,576 个预采集数据集(社交、公司、人物等),含 LinkedIn、Instagram、Crunchbase、Glassdoor 等;无政府/监管类产品,仅有一个美国律师名录。
- Web Archive:按域名/URL/日期免费搜索,异步返回 search_id,轮询至 status 为 done;转储约 $0.001/页。
- Web Unlocker:按需抓取实时页面(绕过反爬),约 $1.5–3/千次成功,需可写令牌创建 zone。
使用方式:所有端点使用 Bearer 令牌,切勿硬编码,从环境变量或 gitignore 的密钥文件读取,例如 export BRIGHTDATA_API_TOKEN=...。Web Archive 搜索示例:POST https://api.brightdata.com/webarchive/search,带上 filters(需 max_age 或 min_date+max_date;支持 domain_whitelist、domain_like_whitelist、url_like_whitelist、unique_url)。轮询 GET /webarchive/search/<id>。搜索可能耗时 9 分钟以上,可并行发起后每约 20 秒轮询。
成本控制:GET /datasets/list、POST /webarchive/search 及轮询免费,会返回 counts 与 dump_cost_usd;POST /webarchive/dump、数据集触发/购买、Web Unlocker 均付费。在用户明确批准某次支出前,不得调用转储、触发数据集或创建 zone,应先免费搜索展示 dump_cost_usd。默认只读令牌不能创建 zone。
FINRA/SEC 覆盖:经免费存档搜索验证,BrokerCheck 与 IAPD 数据存在于 Web Archive 而非市场。brokercheck.finra.org 有 1,434,501 快照/714,614 独立 URL(转储约 $715);adviserinfo.sec.gov 有 1,635,389 快照/664,043 独立 URL(约 $664)。API 子域与 PDF 报告为 0。时间上无 2024 年前数据,几乎全为 2025–2026,属当前截面而非深层历史;深层历史需用 FINRA/SEC 批量下载或 WRDS。
限制:具体定价与数据集数量均为资料所述,可能变化;无政府监管类数据集;存档不覆盖 JSON API 与 PDF;需可写令牌才能创建 zone。