用途
Crawlee 是一个网页抓取(web scraping)与浏览器自动化库,面向 JavaScript 和 Python 开发者,用于构建和维护爬虫。官方称其由每天为工作抓取数百万页面的开发者打造,开源。
主要能力
根据官方文本,Crawlee 能帮助开发者处理抓取过程中多项复杂事务,包括:
- 屏蔽(blocking)处理;
- 抓取调度(crawling);
- 代理(proxies);
- 浏览器(browsers)。 官方强调它可让开发者“快速构建可靠的网页抓取工具”。
使用方式
官方提供“Get started now!”入口,但资料中未给出具体的安装命令或代码示例。如需使用,建议访问其官网 https://crawlee.dev/ 查看入门文档。
适用场景
适用于需要构建和维护爬虫、进行网页抓取或浏览器自动化的开发者场景。
限制
资料未说明其收费模式、具体平台支持范围、性能指标或效果。安装命令、代码示例等细节暂未提供。