SuperAPI AI 工具集

cli-web-scrape

编程与开发

查看项目

更新于 10-16 01:18

技能介绍

用途:基于 Scrapling CLI 的网页抓取技能,用于抓取静态页、JS 渲染单页应用及有反爬保护的站点,并按需提取正文内容。

主要能力:分三档抓取器。HTTP 档(extract get/post/put/delete)使用 httpx 与 TLS 伪装,速度快,适合静态页面和 API;动态档(extract fetch)使用 Playwright 无头浏览器,支持 JS 渲染与等待元素;隐身档(extract stealthy-fetch)使用 Camoufox 修补版 Firefox,可 --solve-cloudflare、--block-webrtc、--hide-canvas、--block-webgl 提升反检测能力。支持 -s/--css-selector 提取指定元素、-H 自定义请求头、--cookies、--proxy、-p 查询参数、-d 表单/-j JSON 请求体、--timeout、--no-verify、--impersonate 浏览器伪装等。输出格式由文件扩展名决定:.html 原始 HTML、.md Markdown、.txt 纯文本,建议输出到 /tmp 后读取。

必要用法:先安装 uv tool install 'scrapling[all]',再执行 scrapling install 安装浏览器引擎,用 scrapling --help 验证。默认先走 HTTP 档,若内容稀薄(含 JavaScript 提示、缺价格/规格、多为导航链接、内容过短等)则升级到动态档,仍受限再升级到隐身档;所有档均失败时跳过并标记 scrapling blocked。已知 iSpot.pl 等 React 单页应用应直接从动态档开始。另提供 scrapling shell 交互式 REPL。

限制:输出文件路径必填,不写 stdout;CSS 选择器会把全部匹配拼接返回;HTTP 档超时单位为秒,fetch/stealthy-fetch 为毫秒;--impersonate 仅 HTTP 档可用,--solve-cloudflare 仅隐身档可用;需要 click 与 playwright/camoufox 等依赖。资料未提供收费、价格与效果保证等信息。