SuperAPI AI 工具集

scrapling

数据与分析

查看项目

更新于 10-15 22:17

技能介绍

用途:把 Scrapling 的抓取与解析能力放到 iii 总线上,供调用方抓取网页并提取字段。三种抓取层级共用同一输出结构:scrapling::fetch 为快速 HTTP(curl_cffi TLS 伪装);scrapling::stealthy-fetch 为 Camoufox 隐身浏览器,可解 Cloudflare/Turnstile 并加固 WebRTC/canvas;scrapling::dynamic-fetch 为 Playwright/Chromium,支持 JS 渲染、等待与 XHR 捕获。

主要能力:每次抓取可传 selectors 列表在同一次调用中提取;可传 urls 数组批量抓取。抓取返回 {status, url, headers, cookies, encoding},给出 selectors 时附 extracted,include_html: true 时附 html;批量调用返回 {results: [...]}。解析能力也可单独使用:extract、css、xpath、regex、find-similar。选择器字段为 {name, css|xpath|regex, attr?, html?, all?},attr 取属性,html 取内部 HTML,否则取文本,all 返回列表。

使用方式:快速抓取并取字段用 scrapling::fetch 传 url 与 selectors;过反爬用 scrapling::stealthy-fetch 并设 solve_cloudflare: true;渲染 JS 页面或等待选择器用 scrapling::dynamic-fetch 的 wait_selector、network_idle 或 capture_xhr;截图用 scrapling::screenshot(fetcher: dynamic|stealthy,full_page?);解析已有 HTML 用 scrapling::extract / css / xpath / regex;从示例元素抓重复列表用 scrapling::find-similar 配锚点 CSS 选择器;批量抓取向任一抓取函数传 urls: [...]。

限制:抓取函数会向任意 URL 发起外部请求,属 SSRF 面,未经人工批准不可由 agent 调用;纯解析器可被 agent 调用(见 iii-permissions.yaml)。stealthy/dynamic 抓取与截图需要镜像中由 scrapling install 安装的捆绑浏览器(Camoufox/Chromium)。非 JSON 的 Scrapling 选项(Python page_action/page_setup 回调、代理轮换器、session 对象、Spider 爬取层)有意未暴露;代理只接受单个字符串,不支持轮换器。