用途:Async Jobs API 在后台提交抓取任务并自动重试,最长 24 小时,以最大化成功率;结果可轮询状态 URL 或经 Webhook 自动获取。适用场景为抓取 20+ URL、目标站点慢或不稳定、需要 Webhook 投递,或抓取 PDF/图片。单 URL 且需即时结果应使用 Standard API;跨站点跟随链接用 Crawler;周期性定时抓取用 DataPipeline。
主要能力与端点:提交单个任务 POST https://async.scraperapi.com/jobs;批量提交(最多 5 万)POST https://async.scraperapi.com/batchjobs;查询/获取任务 GET https://async.scraperapi.com/jobs/<jobId>;取消任务 DELETE https://async.scraperapi.com/jobs/<jobId>。鉴权在 JSON 请求体中使用 apiKey(注意是驼峰命名,与 Standard API 的 api_key 不同)。
使用方式:提交时传入 apiKey、url(或 urls)和 apiParams;返回含 id、status、statusUrl、url 的 JSON,可轮询 statusUrl,status 为 finished 时读取 response.body,failed 时读取 failReason。可配置 callback 为 webhook,默认仅成功任务触发回调,设置 expectUnsuccessReport: true 可接收失败任务载荷;ScraperAPI 投递重试 3 次,全部失败则取消任务,Webhook URL 须公开可访问。异步独有参数包括 expectUnsuccessReport、timeoutSec、meta,其中 meta 会在每次响应/回调中原样返回,便于关联批次。支持向目标站点发送 POST 请求(method、headers、body),二进制响应(PDF、图片)以 Base64 存于 response.base64EncodedBody。
限制:批量超过 5 万需拆分;大批量建议用 Webhook 而非串行轮询。任务结果最多保留 72 小时(保证 24 小时),过期即删除需重新提交。计费与 Standard API 相同:Standard 1、render: true 10、premium: true 10、ultra_premium: true 30,失败请求 0 积分;可用 apiParams 的 max_cost 限制单请求积分。错误处理上,403 可加 premium: true 重试,超时检查可达性并尝试 render: false,提交时 401 检查密钥、403 检查积分或计划上限、429 退避分批重提。其余功能细节官方未提供。