用途:解决普通 fetch 无法完成的网页访问,包括 JS 渲染页面、点击与表单、截图、跨页保持登录,以及被 WAF/403/Cloudflare 拦截的站点。技能采用分层路由,先选成本最低的一层,失败再升级。
主要能力与使用方式: Tier 1 insane-search:无头内容提取与拦截绕过,基于 curl_cffi TLS 伪装、yt-dlp(1858 个站点)、官方公开 API、移动端 URL 转换、Wayback/archive.today 快照(带快照时间戳,须说明是副本而非实时页面)、需 JINA_API_KEY 的 Jina Reader 以及 Playwright 真实 Chrome 兜底。核心命令:python3 -m engine "https://example.com/blocked-page",可选 --selector、--device、--trace、--json。YouTube 字幕可用 yt-dlp --write-sub --write-auto-sub --sub-lang "en,ko" --skip-download -o "/tmp/%(id)s" "<URL>"。 Tier 1.5 agent-reach:面向平台原生读取,尤其中国平台。示例:mcporter call 'douyin.parse_douyin_video_info(url: "<URL>")'、curl -s "https://r.jina.ai/https://weibo.com/<uid>/<pid>"、yt-dlp --dump-json "<bilibili-url>"、curl -s "https://www.v2ex.com/api/topics/hot.json"。部分渠道零配置(Douyin、V2EX、Reddit、RSS、YouTube),Twitter/X、播客转写等需自行提供环境变量或授权。 Tier 2 真实浏览器:通过 omowright 从 js eval 加载。2a 自有引擎用 connectPipe 或 CloakBrowser 的 connectCloakProfile 处理 WAF 与指纹评分页面;2b 附加引擎驱动用户已登录的浏览器,用于需要账号或跨页登录的场景,不得清空用户浏览数据。 Cookie 登录:python3 scripts/extract_cookies.py --browser chrome --domain youtube.com --output ~/.local/state/omo-cookies/youtube.cookies.json,或加 --inject --cdp 9242 注入。导出文件权限为 0600,注入后需刷新页面。
适用场景:文章/博客/Reddit/HN/arXiv 提取、被拦截 URL、媒体元数据、中文社交平台、播客转写、需要点击截图或登录保持的网页操作、Web 应用测试。简单搜索查询不属于本技能。
限制:Google 服务的指纹绑定令牌可能无法跨浏览器配置文件迁移;Jina 匿名访问已不可用;站点域名与选择器不得硬编码进引擎或 waf_profiles.yaml;切勿对未验证内容断言已成功访问,需检查渲染结果并报告仍存在的挑战。具体配置细节见技能内参考文档。