SuperAPI AI 工具集

browser-automation

通用与其它

查看项目

更新于 10-16 09:45

技能介绍

用途:为需要自动化操作浏览器或 Windows 桌面应用的任务提供统一入口。目标是网页用 Playwright/agent-browser,目标是 Windows 桌面应用用 OpenReverse,两者都需要则组合使用。抓包分析、JS 断点 Hook、签名算法定位等应分别交给 anything-analyzer、jshookmcp、js-reverse 等下游工具。

浏览器侧能力:打开页面、获取可交互元素引用、点击、填表、输入、按键、滚动、读取文本/标题/URL、等待页面稳定、截图、自动化登录、爬取、批量表单提交,以及渗透测试中的页面交互。核心工作流为:agent-browser open <url>;agent-browser snapshot -i;agent-browser click @e1;agent-browser fill @e2 "text";完成后 agent-browser close。注意必须执行 close 避免进程泄漏,操作前先 snapshot 不要猜元素引用,提交表单后用 wait --load networkidle 等页面稳定,支持 agent-browser wait @e1 或 wait 2000。

桌面侧能力:OpenReverse 是面向 AI Agent 的桌面交互与证据采集框架,支持 UIA 模式(Windows UI Automation,结构化控件操作,适合标准按钮/文本框/列表)与 CUA 模式(视觉驱动,适合 IDA 反汇编视图等复杂或非标准界面),并内置 mitmproxy 网络观察,分 Proxy Lane(可配代理,推荐)与 Local Lane(无法走代理时本地抓取)。典型组合:仅操作桌面用 UIA/CUA;操作桌面加抓包用 UIA/CUA+proxy lane;操作桌面加本地抓取用 UIA/CUA+local lane。

安装与配置:git clone https://github.com/zhexulong/openreverse.git;cd openreverse;npm install;npm run init:agents -- --target=all /path/to/project;如需视觉模式执行 npm run install:cua-runtime 与 npm run doctor:cua-runtime;如需抓包执行 npm run install:mitmproxy 与 npm run doctor:network。

按需自举:Playwright、agent-browser CLI、Node.js 可自动安装(如 npm install -g agent-browser、npx playwright install、winget 装 Node);OpenReverse 与 mitmproxy 不可自动安装,需手动 clone 与安装,缺失时引导用户按步骤完成并验证。

限制与说明:OpenReverse 处于实验阶段、依赖较重;需先读取 tool-index.md 校验工具可用性与实际路径,缺工具时调用 bootstrap,不要猜路径;使用真实工具路径并产出可复现证据(命令/脚本/截图/报告)。具体收费、价格与更多使用步骤资料暂未提供。