用途:当用户要求“抓取某网站”“从某站点提取数据”“获取某 URL 的商品信息”“找出站点所有链接/页面”,或遇到“被拦截”“403 错误”,以及“把它做成 Apify Actor”“将 scraper 生产化”时自动激活本技能。
主要能力:采用自适应分阶段侦察流程(Phase 0-5)并设质量门,按需加载子目录资料。Phase 0 用单次 curl 快速评估,检查响应头、状态码、框架特征(如 NEXT_DATA、NUXT、ld+json、/wp-content/、data-reactroot)、robots.txt 中的 Sitemap 及目标数据点。Phase 1 仅在需要 JavaScript 渲染时启动浏览器侦察,启用流量拦截代理、隐身模式与 DevTools,捕获网络请求(xhr/fetch、JSON)与渲染后的 DOM。Phase 2 针对缺失数据点做深扫,用点击、滚动等手段触发懒加载,按框架嗅探 API(Next.js 的 /_next/data/、WordPress 的 /wp-json/、GraphQL、通用 /api/)。Phase 3 验证 CSS 选择器、JSON 路径和 API 端点,失败则降级为 PARTIAL 或重新调查。Phase 4 条件性测试反爬保护。Phase 5 按报告模式输出并附自我批判,记录缺口与假设。
使用方式:支持快速、标准、完整三种模式,默认标准。检测到保护信号可升级为完整模式。命令保持原样,如 curl -s -D- -L "https://target.com/page" -o response.html、proxy_start()、interceptor_chrome_launch(url, stealthMode: true)、proxy_list_traffic()、apify create、apify push。侦察后可按核心模式迭代实现,并可选转换为生产级 Apify Actor。
适用场景:站点数据提取、API 发现、链接/分页枚举、反爬绕过、HAR 会话录制与导出。
限制:具体收费、价格、效果与平台细节资料暂未提供;工具清单与模块名以资料为准,不得臆造步骤或参数。