SuperAPI AI 工具集

crawler

数据与分析

查看项目

更新于 10-15 18:45

技能介绍

用途:在编写爬虫代码前先调查网站,采集 API、鉴权、选择器、网络、反爬与方法选择证据,最终产出可复用的抓取方案与爬虫实现。

主要能力:用 Playwriter 复现用户可见流程(会话创建、页面交互、可访问性快照、选择器验证);用 chrome-devtools-mcp 或 CDP 回退采集结构化网络、Cookie、Token、存储与限流证据;据证据在 API 优先与 DOM 优先之间选型;记录限流与机器人检测信号;在方法被证明合理后生成爬虫代码。

方法选择:CDP 或浏览器网络证据发现 API 且鉴权简单时用 fetch/httpx;需 Cookie/Token 时用 fetch + Cookie;遇 Cloudflare、DataDome 或 JA3 指纹时用 curl_cffi(模仿 Chrome);反爬强时用 Patchright 或 rebrowser-patches;Chromium 指纹场景可用 Camoufox;无 API 且无反爬时用 Playwright 解析 DOM。

输出结构:可复用、被阻断或可恢复的任务需写 .hypercore/crawler/<ACTION>.json;可复用抓取必须写 ANALYSIS.md;使用 DOM 提取时写 SELECTORS.md;尝试过 API 发现时写 API.md;涉及 Cookie、Token、请求头、限流或机器人检测时写 NETWORK.md;建议保留 raw/network-summary.json、raw/auth-signals.json、raw/endpoint-candidates.json;仅在证据充分后生成 CRAWLER.ts。

使用方式:先建会话并打开页面,用 Playwriter 探索流程,通过 CDP 采集证据,分析后决定策略,写入站点文档,再生成代码。被阻断的运行需记录阻断原因、触发证据与最安全的下一步,暂不生成 CRAWLER.ts。发现法律约束、反复 403/429/503、CAPTCHA 或强反爬信号时应停止并报告。

限制:不用于通用浏览器自动化、一次性点击或无抓取交付的文档改写;单页一次性提取应保持轻量。面向用户的交付物默认韩文,除非用户明确要求其他语言。凭据、绕过反爬、生产环境与不安全抓取需谨慎把关。