用途:为使用 ScraperAPI Python SDK(scraperapi-sdk 包)编写、调试或审查 Python 代码时提供最佳实践参考。
环境要求:Python 3.7+,pip install scraperapi-sdk,需设置 SCRAPERAPI_API_KEY 环境变量。初始化示例:from scraperapi_sdk import ScraperAPIClient;client = ScraperAPIClient(os.environ["SCRAPERAPI_API_KEY"])。切勿硬编码 API 密钥。
主要能力与用法:单 URL 即时响应使用 client.get() 同步调用;20 个以上 URL 或易超时场景改用异步 Jobs API(requests.post 到 async.scraperapi.com/jobs);受支持平台(Amazon、Google、Walmart、eBay、Redfin)使用结构化数据端点 api.scraperapi.com/structured/<vertical>;页面依赖 JavaScript 时加 render=True;站点封锁标准代理时加 premium=True。SDK 本身不含异步或批量支持。
常用参数:render=True 渲染 JS(+10 积分);wait_for_selector 等待元素(需 render=True);screenshot 截图;country_code 地理定位(无额外费用);premium 与 ultra_premium 互斥,不可同时设置;session_number 复用同一代理 IP(闲置 15 分钟过期);keep_headers 转发自定义请求头(与 ultra_premium 不兼容);device_type 模拟设备;autoparse 返回结构化 JSON;output_format 支持 markdown/text;binary_target 获取二进制内容。
积分成本:标准 1;render 10;premium 10;premium+render 25;ultra_premium 30;ultra_premium+render 75;结构化数据多数 1–5。可用 max_cost 限制单次积分消耗。建议按标准→render→premium→premium+render→ultra_premium 逐级升级。
错误处理:401 密钥无效,403 被封锁或积分耗尽,404 目标不存在,429 并发限制,500/503 可重试(500 不计费)。
限制:同步 SDK 每次调用最长阻塞约 70 秒;大批量(最多 50,000 URL)需使用 async.scraperapi.com/batchjobs;ultra_premium 与自定义请求头不兼容。其余细节暂未提供。