用途:该技能用于网页抓取,通过渐进式升级方式应对不同难度的目标站点,并针对社交媒体平台提供专用抓取器。触发场景包括抓取、爬取、抓取URL、机器人检测、CAPTCHA、蜘蛛等。
主要能力:渐进式升级包含四个层级——直接抓取(使用标准请求头的curl/fetch)、浏览器渲染(针对JS密集型站点使用无头浏览器)、代理轮换(应对限流或地域限制内容)、专用API(平台特定抓取器)。
使用规则:遵守robots.txt;对请求进行速率限制;处理分页;提取结构化数据;同时存储原始版本与处理后版本。
限制:资料未提供具体安装命令、代码示例、支持的平台清单、收费或价格信息,也未说明各升级层级的切换条件与实现细节,这些内容暂未提供。