SuperAPI AI 工具集

cli-web-scrape

编程与开发

查看项目

更新于 10-16 01:18

技能介绍

用途:通过 Scrapling CLI 抓取网页内容,按需在速度与反检测能力之间切换三层抓取器,并输出为 HTML、Markdown 或纯文本。

主要能力:HTTP 层(extract get/post/put/delete)基于 httpx 与 TLS 伪装,速度快,适合静态页面与 API,支持 -s CSS 选择器、--impersonate 浏览器伪装、自定义请求头、cookie、代理、参数、超时、跳过 SSL 校验等。动态层(extract fetch)使用无头 Playwright,支持 JS 渲染、等待元素、等待网络空闲、禁用图片/CSS 加速。隐蔽层(extract stealthy-fetch)使用 Camoufox 修补版 Firefox,可 --solve-cloudflare 绕过 Cloudflare,并可选 --block-webrtc、--hide-canvas、--block-webgl 增强隐蔽性。输出格式由文件扩展名决定:.html 原始 HTML、.md Markdown、.txt 纯文本。

用法:先安装 uv tool install 'scrapling[all]',再执行 scrapling install 安装浏览器引擎,用 scrapling --help 验证。基本命令为 scrapling extract get URL OUTPUT_FILE [OPTIONS]。官方建议始终先跑 HTTP 层,读取输出文件并校验内容;若出现 JavaScript 提示、仅剩导航链接、内容过短等稀薄信号,则升级到动态层 extract fetch --network-idle --disable-resources;仍被拦截则使用 extract stealthy-fetch --solve-cloudflare。也提供 scrapling shell 交互与单行执行。

适用场景:抓取静态页面、API、需 JS 渲染的 SPA、受 Cloudflare 或强反爬保护的站点,并将结果转为 Markdown 供阅读或作为 LLM 上下文。

限制:必须提供输出文件路径,不写入标准输出;CSS 选择器返回所有匹配结果的拼接;HTTP 层超时以秒计,fetch/stealthy-fetch 以毫秒计;--impersonate 仅 HTTP 层可用;--solve-cloudflare 仅隐蔽层可用;隐蔽层速度较慢。收费、价格与平台信息暂未提供。