用途:通过 HasData 云端 API 抓取公开网页并提取结构化数据,端点位于 https://api.hasdata.com,使用 x-api-key 认证。
三种执行模式:Web Scraping API(POST /scrape/web,适用于任意 URL,支持 JS 渲染、CSS/AI 提取、截图);Scraper APIs 同步模式(GET /scrape/<vertical>/<resource>,为 Google、Amazon、Zillow 等已知平台返回预解析 JSON);Scraper Jobs 异步模式(POST /scrapers/<slug>/jobs,适合批量提取、递归抓取、webhook 分发)。默认优先用已有 Scraper API,任意 URL 用 Web Scraping,只有无对应 API 时才用 Jobs。
调用要点:所有请求带 x-api-key 头,从 HASDATA_API_KEY 环境变量读取;客户端超时设 ≥300 秒(服务端期限 300 秒);仅对 429 和 5xx 做指数退避加抖动的重试,不要重试 4xx;并发受套餐限制,免费层为 1。异步任务提交响应句柄是 body.id(整数),需立即保存,每 10–30 秒轮询 GET /scrapers/jobs/<id>,webhook 为尽力而为,需配轮询兜底。
响应判断:仅当 requestMetadata.status === "ok" 才视为有效,HTTP 200 不等于成功。
常见问题:先禁用 jsRendering,仅必要时开启;无 cookies 参数,需通过 headers["Cookie"] 传递;includePaths 正则区分大小写;Scraper Job 数据为双层包裹(每行为 body.data[i].data)。
适用场景:网页抓取、搜索结果、结构化数据提取,以及电商、旅游、招聘、本地商户等数据。
限制:需有效凭证;数据质量与字段取决于目标网站和提取方式;JS 重的站点需渲染,可能影响性能与成本;仅用于公开数据或已获授权内容,须遵守站点条款、robots、隐私法与速率限制;配额和账号限制随端点与套餐而定。个人邮箱/电话查询仅在合法目的与用户授权下允许。