用途:按 Bright Data Web Scraper API 文档实现异步快照流水线,把触发、进度查询、下载组织为状态机,用于收集已批准的批量数据。
主要能力:校验输入清单并哈希;单次触发数据集任务;持久化 snapshot_id 并有界轮询进度;显式处理 ready、failed、empty、expired、still-building 等状态;按批准格式流式下载,支持 parts 处理大结果,校验 schema、记录数与字节上限后决定放行或隔离。
使用方式:前置条件包括已审核的 dataset ID、已批准的公开输入清单、运行时密钥管理器中的具名用户 API key,以及保留期、schema、最大记录数与最大字节数策略。触发示例:
curl --fail-with-body --request POST
'https://api.brightdata.com/datasets/v3/trigger?dataset_id=DATASET_ID'
--header "Authorization: Bearer $BRIGHTDATA_API_KEY"
--header 'Content-Type: application/json'
--data-binary @approved-inputs.json
随后用 GET /datasets/v3/progress/SNAPSHOT_ID 有界轮询,再以 GET /datasets/v3/snapshot/SNAPSHOT_ID 流式下载。工具纪律:Read/Grep 做策略与 schema 检查,Write/Edit 仅用于清单、状态机、测试与脱敏回执,Bash(curl:*) 仅访问固定 Bright Data 源,不打印 Bearer 值或原始结果数据。
适用场景:已获授权的批量网页数据采集与交付控制。
限制:需预先审核数据集与输入;轮询次数与延迟受限;结果须通过 schema 与大小校验,超限即使标记 ready 也应拒绝;400 表示数据集 ID 或输入形状无效,429 表示并发耗尽,快照过期或为空则不可放行。具体价格、平台支持与配额细节暂未提供。