SuperAPI AI 工具集

desktop-control

智能体与模型

查看项目

更新于 10-15 21:40

技能介绍

用途:desktop-control 是 droid-control 工作流的后台知识,供编排器路由后使用,本身不被直接调用。它描述通过上游 trycua/cua 的 cua-driver 驱动原生桌面 GUI 应用的机制,适用于自动化原生桌面应用(如 Finder、记事本、系统设置、原生编辑器)、驱动无 DOM 或 PTY 可达的原生对话框与权限弹窗,以及对原生 UI 做视觉 QA(逐窗口截图、无障碍树断言)。若目标是终端 TUI,应使用 tuistory 或 true-input;若是网页或 Electron 应用,应使用 agent-browser。

主要能力:枚举应用与窗口、快照无障碍树、按 element_index 或像素坐标点击/输入/滚动,并通过重新快照验证,全程无需将目标窗口置于前台。平台支持方面,macOS 与 Windows 为 Production 层级,Linux 为 Pre-release(存在实际限制)。

使用方式:一次性安装(每用户,无需 sudo/admin): curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.sh | bash Windows PowerShell:irm https://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.ps1 | iex 随后运行 cua-driver doctor 做平台探测,cua-driver skills install 获取上游技能包。element_index 工作流需要守护进程:cua-driver serve 启动,cua-driver status 查看健康,cua-driver stop 停止。权限通过驱动检查与授予:cua-driver permissions status、cua-driver permissions grant。核心循环为 Discover -> Observe -> Act -> Verify,针对明确的 (pid, window_id),工具名用 snake_case 直接调用,如 cua-driver <tool> '<json>';每次操作前后都要 get_window_state 快照,操作前快照用于解析 element_index,操作后快照作为证据。寻址优先 element_index,其次像素点击,键盘与平台回退为最后手段。运行隔离通过 cua sessions 实现,每次运行声明一个会话并在每个操作中传递。

限制:不得改变用户最前台应用,遇到 activate、foreground、raise、make key 类命令应停止;破坏性操作需用户明确意图;操作后必须重新快照并报告实际观察结果。上游技能包(~/.cua-driver/skills/cua-driver/SKILL.md 及对应平台文档)是深度参考,包含完整工具面、窗口状态行为矩阵与禁用命令列表,随二进制更新,执行任何非平凡工作流前应先阅读。