用途:用于实现网页抓取、数据提取与自动化浏览器交互,涵盖数据采集管线、页面变更监控、截图与 PDF 生成等场景。
主要能力:对比 Playwright(端到端测试与抓取,速度快、完整 JS 支持)、Puppeteer(Chrome 专用自动化)、Cheerio(静态 HTML 解析,最快但无 JS)、Crawlee(大规模抓取,优化、两者皆支持)。提供基础抓取器、数据提取模式、限速器与自适应限速器、带指数退避与抖动的重试策略、错误分类,以及含并发、深度、robots.txt 开关的完整爬虫实现。
使用方式:安装 Playwright 可执行 npm install playwright 与 npx playwright install chromium。示例以 TypeScript 类封装浏览器初始化、页面抓取、上下文关闭,并用 page.evaluate 提取标题、价格、描述、图片等字段。限速器按每秒请求数排队调度;自适应限速器在成功时逐步降低延迟,遇 429 时显著退避,连续错误超过 10 次则中止。重试默认针对 429、500、502、503、504。
合规与限制:资料强调先检查 robots.txt、限制每秒 1-2 次请求、使用带联系方式的 User-Agent、优雅处理 429、缓存响应、尊重 nofollow/noindex、避开高峰、不抓取未经同意的个人数据、审阅服务条款并设置超时。明确禁止无限速抓取、无视 robots.txt、未授权抓取登录内容、存储未同意个人数据、并发压垮服务器、为恶意目的绕过反爬。相关技能包括 api-design、database-patterns、testing-patterns。具体收费、平台与效果资料暂未提供。