scrapling

Scrapling 是一个 100% 本地运行的 Python 网页抓取库（BSD-3，D4Vinci/Scrapling），无需 API 密钥或云依赖，内置 Cloudflare 求解、TLS 模拟和自适应元素跟踪。安装：运行 ~/.claude/skills/scrapling/scripts/scrapling_install.sh，会通过 uv 安装 scrapling[all]、下载 Chromium 与系统依赖并验证抓取器可用。三种抓取层级：get（curl_cffi HTTP，TLS 模拟，最快）；fetch（Playwright/Chromium，支持 JS 渲染）；stealthy-fetch（Patchright/Chrome，最强反爬）。可用包装脚本输出到 stdout：python3 ~/.claude/skills/scrapling/scripts/scrapling_fetch.py URL，支持 --stealth、--dynamic、--css、--solve-cloudflare、--impersonate、--format、--no-headless、--timeout。也可用原生 CLI，如 scrapling extract get 'URL' content.md。Python API 提供 Fetcher、DynamicFetcher、StealthyFetcher，支持 CSS/XPath/文本/正则解析和 page_action 自动化。自适应抓取将元素指纹存入 SQLite，站点改版后仍可定位。Spider 框架支持并发、暂停恢复和会话路由。限制：隐身抓取更慢；浏览器缺失需运行 scrapling install；SSL 证书错误可传 verify=False。