用途:通过 Oxylabs Web Scraper API 抓取网页数据,自动处理反爬,并对 40 多个目标站点提供结构化 JSON 解析与地理定位。
主要能力:支持通用抓取(universal)及特定源(如 amazon_product、google_search);可开启 parse 获取结构化数据;支持 JavaScript 渲染(render: html 或 png)、地理定位(geo_location)、会话复用(session_id)、自定义请求头与 Cookie、XHR 捕获、markdown 输出、浏览器指令及自定义解析规则。
使用方式:使用 HTTP Basic Auth,凭据来自环境变量 OXY_WSA_USERNAME 与 OXY_WSA_PASSWORD。实时请求端点 POST https://realtime.oxylabs.io/v1/queries;Push-Pull 任务端点 POST https://data.oxylabs.io/v1/queries,支持回调与云存储上传。请求头 Content-Type: application/json。核心参数包括 source(必填)、url 或 query(条件必填)、parse、render、geo_location、session_id 等。批量任务使用 POST /v1/queries/batch,仅 query 或 url 可为数组,最大 5000 个值。多格式输出可在载荷中启用类型,并用 ?type=raw,parsed,png,markdown,xhr 请求。
示例:curl -X POST 'https://realtime.oxylabs.io/v1/queries' -u "$OXY_WSA_USERNAME:$OXY_WSA_PASSWORD" -H 'Content-Type: application/json' -d '{"source": "universal", "url": "https://example.com"}'
适用场景:抓取任意网页、搜索引擎结果、电商商品与评论等;需要地理定位、JS 渲染或结构化数据时。
限制:需有效凭据;部分源需特定参数;渲染请求建议客户端超时接近 180 秒;抓取图片需设置 content_encoding: base64 并解码;错误码包括 400、401、403、429 等。完整源列表与更多示例见 sources.md 与 examples.md。