用途:通过 Bright Data 的抓取 API 进行大规模网页与社交媒体数据采集。技能在用户提及 Bright Data、proxy、web scraping at scale 或 data collection 时使用。
主要能力:支持抓取 Twitter/X、Reddit、YouTube、Instagram、TikTok、LinkedIn 等平台,覆盖资料、帖子、评论、Reels/视频等内容(各平台支持项不同)。提供异步触发、同步抓取、进度监控、结果下载、快照列表与取消等接口;还可查询账户状态、活跃 zone 与带宽使用。
使用方式:需环境变量 BRIGHTDATA_TOKEN 与在 Bright Data 控制面板创建的 dataset_id。异步抓取 POST /datasets/v3/trigger 获取 snapshot_id;同步抓取 POST /datasets/v3/scrape 直接返回结果;用 GET /datasets/v3/progress/<snapshot-id> 查询状态(running/ready/failed);ready 后 GET /datasets/v3/snapshot/<snapshot-id>?format=json 下载;另可列出、取消快照。请求体写入 /tmp/brightdata_request.json,通过 curl 发送。常用参数包括 url、keyword、num_of_posts、start_date、end_date、sort_by、format,日期格式为 MM-DD-YYYY。
适用场景:社交媒体资料与帖子采集、评论抓取、按关键词搜索、批量发现与数据汇总。
限制:批处理最多 100 个并发请求,单批最大 1GB,超限返回 429;需先创建 dataset 数据集;大任务用异步、小任务用同步;需遵守速率限制。若请求失败,可运行 zero doctor check-connector --env-name BRIGHTDATA_TOKEN 或 zero doctor check-connector --url https://api.brightdata.com/datasets/v3/trigger --method POST 排查。价格与计费方式暂未提供。