用途:从主流网站提取结构化数据,自动解析为 JSON,无需编写抓取逻辑,只需提供 URL。
主要能力:覆盖电商(Amazon 商品/评论/搜索、Walmart、eBay、Home Depot、Zara、Etsy、Best Buy)、职业网络(LinkedIn 个人/公司/职位/帖子/搜索、Crunchbase、ZoomInfo)、社交(Instagram、Facebook、TikTok、X、Reddit)、视频(YouTube 频道/视频/评论)、Google 服务(Maps 评论、Shopping、Play Store)及其他(Apple App Store、Reuters、GitHub、Yahoo Finance、Zillow、Booking.com)等 40 多个数据集。
使用方式:需设置环境变量 BRIGHTDATA_API_KEY,可选 BRIGHTDATA_POLLING_TIMEOUT(默认 600 秒)。命令格式为 bash scripts/datasets.sh <dataset_type> <url> [additional_params...],例如 bash scripts/datasets.sh linkedin_person_profile "https://www.linkedin.com/in/satyanadella/"。自定义数据集可用 bash scripts/fetch.sh <dataset_id> '<json_input>'。
工作原理:向 Bright Data Web Data API 提交 URL,每秒轮询等待采集完成,就绪后输出结构化 JSON,轮询机制用于处理速率限制并保证数据质量。
限制:需 Bright Data API 密钥;部分数据集需额外参数(如评论数量、搜索关键词);实际可用性、配额与费用以 Bright Data 官方为准,资料未提供。