用途:Scrapling 是 Python 网页抓取库,用于抓取静态或动态网页、绕过反爬并提取结构化数据。
主要能力:提供 Fetcher(静态 HTML,最快,TLS 伪装)、DynamicFetcher(基于 Playwright 处理 JavaScript 内容)、StealthyFetcher(Camoufox 隐身,可绕过 Cloudflare/反爬)三种抓取器;Spider 异步多页爬取框架;代理轮换(ProxyRotator);自适应选择器可在网站结构变化后自动重新定位元素;支持 CSS、XPath 及 BeautifulSoup 风格选择;提供 CLI 与 MCP 服务器供 AI 智能体调用。
使用方式:安装后从 scrapling.fetchers 导入对应抓取器,如 Fetcher.get(url),再用 page.css('.title::text') 等选择器提取;会话可用 FetcherSession(impersonate='chrome');爬虫继承 Spider 并实现 parse;CLI 可用 scrapling shell、scrapling extract get 等命令;MCP 需 pip install "scrapling[ai]" 并运行 scrapling install。
限制与注意:v0.4 有破坏性变更,css_first()/xpath_first() 已移除,改用 .css('.sel').first 或 .get();css('::text') 与 css('::attr()') 返回 Selector 对象;Response.body 始终为 bytes。.first/.last 为安全访问器,缺失时返回 None。find_by_text 无 tag 参数。其余收费、平台与效果信息暂未提供。