SuperAPI AI 工具集

oxylabs-web-scraper

编程与开发

查看项目

更新于 10-16 03:14

技能介绍

用途:通过 Oxylabs Web Scraper API 抓取网页数据,适用于需要自动化采集、解析结构化内容或按地区获取结果的场景。

主要能力:提供 universal 通用抓取及 40+ 专用源(如 amazon_product、google_search),支持反爬绕过、JavaScript 渲染(html 或 png)、地理位置定向、会话复用(session_id)、Markdown 与 XHR 结果、自定义解析规则与浏览器指令,并可上传至 gcs、s3、tos 等存储。

使用方式:使用 HTTP Basic Auth,凭据从环境变量 OXY_WSA_USERNAME 与 OXY_WSA_PASSWORD 读取。实时接口 POST https://realtime.oxylabs.io/v1/queries;Push-Pull 任务用 POST https://data.oxylabs.io/v1/queries,支持回调与批量(POST /v1/queries/batch,最大 5000 条)。请求体为 JSON,核心参数包括 source(必填)、url 或 query、parse、render、geo_location、session_id、user_agent_type、locale 等。例如: curl -X POST 'https://realtime.oxylabs.io/v1/queries' -u "$OXY_WSA_USERNAME:$OXY_WSA_PASSWORD" -H 'Content-Type: application/json' -d '{"source": "universal", "url": "https://example.com"}'

适用场景:电商价格与商品信息采集、搜索结果抓取、需要地理定向或 JS 渲染的页面采集。

限制:特定源支持 parse 结构化解析,其他站点需使用 universal;渲染请求超时建议接近 180 秒;截图需设 content_encoding 为 base64 并解码;错误码包括 400、401、403、429。完整源列表、示例及自定义解析细节暂未提供。