用途:当普通 browse/fetch 无法完成时,按需升级网页访问能力,处理被 WAF/403/Cloudflare 拦截、需 JS 渲染、登录受限或通用抓取器读不了的页面。
主要能力与分级: Tier 1 insane-search:无头提取与 WAF 绕过,比浏览器快约 10 倍,支持 curl_cffi TLS 模拟、yt-dlp(1858 站点)、Jina Reader、官方公开 API、移动端 URL 转换及 Playwright 真实 Chrome 回退。核心命令:python3 -m engine "https://example.com/blocked-page",可加 --selector、--device、--trace、--json。 Tier 1.5 agent-reach:平台原生读取,尤其中国平台(小红书、抖音、微博、B 站、V2EX、Reddit、Twitter/X、LinkedIn、GitHub、播客、Exa AI)。部分零配置,如 mcporter call 'douyin.parse_douyin_video_info(url: "<URL>")'、curl -s "https://r.jina.ai/https://weibo.com/<uid>/<pid>"、curl -s "https://www.v2ex.com/api/topics/hot.json"。 Tier 2 Chrome stealth:需真实交互(点击、填表、截图、视频、持久登录)或前两级失败时使用。CloakBrowser 为带源码级指纹补丁的隐身 Chromium,agent-browser 通过 CDP 驱动。先启动 CDP 于 :9242,再 curl -s -X PUT "http://127.0.0.1:9242/json/new?https://example.com" 开首个标签页,然后 agent-browser --cdp 9242 snapshot -i 等操作。
Cookie 登录:scripts/extract_cookies.py 可从本地浏览器读取并注入 cookie,支持 --browser、--domain、--output、--inject、--cdp,导出文件权限 0600。
限制与注意:简单搜索查询不应使用本技能;纯文本提取不要启动 Chrome stealth;CloakBrowser 启动时无标签页,须先建标签页;cookie 注入后需刷新页面;Google 服务令牌可能无法跨浏览器配置迁移;不要在共享临时目录存放有效 cookie 或提交到仓库;不要将站点域名/选择器硬编码进 engine 或 waf_profiles.yaml。环境变量包括 CLOAK_CDP_PORT、AGENT_BROWSER_USER_AGENT、AGENT_BROWSER_HEADED。详细文档见 references/insane-search/README.md、references/agent-reach/README.md、references/chrome-stealth.md。