用途:当目标网站没有 API,需要驱动真实浏览器获取数据或完成流程时使用。与 playwright-expert 不同,后者把浏览器当作测试自有应用的工具,本技能把浏览器当作访问他人网站的客户端。
主要能力:判断是否允许自动化(是否有 API、服务条款、robots.txt、个人数据与 GDPR、版权与数据库权利、负载);按需选择最轻量工具(静态 HTML 用 httpx + selectolax/BeautifulSoup,页面调用的 JSON 端点直接调用,JS 渲染或需交互时用无头浏览器);用 Playwright 驱动浏览器、拦截并直接捕获 API 响应、屏蔽图片字体等无用资源;登录一次并持久化会话(storage_state 保存 cookies 与 localStorage);礼貌爬取(遵守 robots.txt、限制并发、请求间延迟、处理 429/503 退避);提取时优先结构化数据并做字段校验。
使用方式:先检查网络请求,多数“JS 重”站点可直接调用其 JSON 端点。选择器优先稳定 id、data-* 属性、可访问角色与标签、文本内容,最后才是结构位置。等待条件而非 sleep。用户代理中如实标明机器人及联系 URL。凭据来自环境变量或密钥管理,state.json 视为凭据,不入版本库、加密存储并设过期。
适用场景:无 API 的第三方站点抓取、爬取、认证、动态内容与多步流程。
限制:不帮助规避访问控制、破解已拒绝站点的 CAPTCHA,或抓取无权跨越的认证墙。若合法性不明确应上报而非继续。资料未提供具体收费、价格与平台信息。