cua-driver 用于通过原生 GUI 驱动单个精确的目标应用窗口,遵循「观察—操作一次—验证后置条件」的流程,适配 macOS、Windows 与 Linux。
主要能力:可检查安装与能力(cua-driver --version、status、doctor、describe <tool>);发现或启动应用(list_apps、list_windows、launch_app);观察窗口状态(get_window_state({pid, window_id}));基于新鲜 element_token 对精确窗口执行点击与 type_text;语义无法覆盖时使用同目标截图配合 x、y 坐标操作;通过 verify_state({pid, window_id, expect}) 或新快照验证结果;还可操作授权桌面(get_desktop_state 后用 target:{kind:"desktop",display_id:"primary"} 输入)、驱动支持的浏览器页面内容,以及按明确要求录制运行过程(start_recording → actions → stop_recording)。
使用方式:以 cua-driver CLI 为默认入口,也可作为 MCP 服务端使用。每次操作都须选定精确目标;操作前观察、操作后验证;只能使用返回的令牌,不可凭空编造索引;新快照会替换旧元素句柄。共享桌面上应保持单一控制者;前台投递与桌面输入需获授权,路由不可用不代表可以提权。
适用场景:结果取决于应用 UI 或窗口状态、或用户明确要求操作该 GUI 的任务;若指定 GUI-only,则排除应用 API、DOM/CDP、直接剪贴板 API 与 shell 变更。
限制:不可据缺失图像、其他窗口或被缩短的预览推断像素;截图失败与无障碍树为空是不同故障。用户或系统的权限提示由用户或可信宿主处理,不得擅自更改浏览器配置文件或安全设置,也不得为让流程奏效而升级软件、变更权限配置。资料未提供具体价格与部署要求。