SuperAPI AI 工具集

scrapeninja

数据与分析

查看项目

更新于 10-16 07:25

技能介绍

用途:ScrapeNinja 是面向网页抓取与数据提取的 API,适合需要绕过基础反爬、渲染 JavaScript 页面或抽取结构化数据的场景。

主要能力:提供 /scrape(快速非 JS,带 Chrome TLS 指纹)、/scrape-js(完整 Chrome 浏览器 JS 渲染)和 /v2/scrape-js(面向受保护站点的增强渲染,仅 APIRoad)三个端点。支持自定义请求头、重试次数、超时、按状态码或文本模式触发重试、按地域选择代理(us、eu、br、fr、de、4g-eu)或自定义代理。JS 端点支持 waitForSelector、postWaitTime、截图、屏蔽图片/媒体、拦截 AJAX 请求和自定义视口。可用 Cheerio extractor 函数把 HTML 转成结构化 JSON。

使用方式:通过 curl 向 https://scrapeninja.p.rapidapi.com/scrape 或 /scrape-js 发送 POST JSON,请求头带 X-RapidAPI-Key: $SCRAPENINJA_TOKEN。请求体可含 url、headers、retryNum、geo、timeout、extractor 等参数。响应含 info(statusCode、finalUrl、headers、screenshot、catchedAjax)与 body。

限制与排查:需自备 SCRAPENINJA_TOKEN;速率限制取决于 RapidAPI/APIRoad 套餐。请求失败可运行 zero doctor check-connector --env-name SCRAPENINJA_TOKEN 或 zero doctor check-connector --url https://scrapeninja.p.rapidapi.com/scrape --method POST。建议先用 /scrape,必要时再切 /scrape-js;受 Cloudflare/Datadome 保护的站点需经 APIRoad 使用 /v2/scrape-js。extractor 可在 https://scrapeninja.net/cheerio-sandbox/ 测试。