SuperAPI AI 工具集

scraperapi-java-sdk

编程与开发

查看项目

更新于 10-16 01:10

技能介绍

用途:为使用 ScraperAPI Java SDK(Maven 坐标 com.scraperapi:sdk)编写、调试或审查 Java 代码时提供最佳实践参考。要求 Java 8+、Maven 或 Gradle,并通过环境变量 SCRAPERAPI_API_KEY 提供密钥,禁止硬编码。

主要能力:SDK 采用 fluent builder,链式调用参数后以 .result() 阻塞获取 HTML。支持 .render(true) 渲染 JavaScript、.waitForSelector() 等待元素、.countryCode() 地理定位、.premium(true) 与 .ultraPremium(true) 代理升级、.sessionNumber(n) 粘性会话、.deviceType() 设备模拟、.autoparse(true) 结构化 JSON、.retry(n) 重试。premium 与 ultraPremium 互斥。

使用方式:Maven 依赖 groupId com.scraperapi、artifactId sdk、version 1.2;Gradle 为 implementation 'com.scraperapi:sdk:1.2'。客户端实例化:ScraperApiClient client = new ScraperApiClient(System.getenv("SCRAPERAPI_API_KEY"));。简单请求:client.get("https://example.com/").result()。

适用场景:单 URL 同步抓取、SPA 页面、被数据中心代理拦截的站点、强反爬站点、分页多步流程、批量任务(20+ URL 建议走异步 REST 端点 https://async.scraperapi.com/jobs)、受支持平台(Amazon、Google、Walmart 等)的结构化数据端点。

限制与注意:.result() 阻塞线程;渲染增加成本与延迟,默认先不启用;积分成本为标准 1、render 10、premium 10、premium+render 25、ultraPremium 30、ultraPremium+render 75;ultraPremium 与自定义请求头不兼容;会话在最后一次使用后 15 分钟过期;不要设置过短超时,SDK 默认值需容纳 ScraperAPI 最长 70 秒的内部重试;状态码 401 密钥错误、403 被拦截或积分不足、429 限流、500/503 为瞬时错误且不计费。