SuperAPI AI 工具集

cua-driver-rs

智能体与模型

查看项目

更新于 10-16 07:15

技能介绍

用途:通过 cua-driver 编排跨平台原生应用自动化。用户要求驱动桌面应用时,应按本技能规定的循环执行,而非临时调用工具。核心不变量是“操作前后都要快照”,跳过会静默失败。

主要能力:可启动应用、枚举窗口、读取指定进程与窗口的无障碍树并截图(默认同时返回,include_screenshot 为性能开关),支持按 element_index 走 ax 动作或按 x、y 走像素动作,以及 type_text、press_key、hotkey、set_value 等。平台细节见同目录的 MACOS.md、WINDOWS.md、LINUX.md;Web/Electron/Tauri 见 WEB_APPS.md,录制见 RECORDING.md。

使用方式:默认用 CLI,如 cua-driver serve、cua-driver launch_app '{"bundle_id":"..."}'、cua-driver get_window_state '{"pid":844,"window_id":10725}'、cua-driver click '{"pid":844,"window_id":10725,"element_index":14}'、cua-driver stop。MCP 仅在用户明确要求时使用;Claude Code 计算机使用兼容模式可注册 cua-driver mcp-config --client claude。元素索引工作流需要先启动常驻守护进程。

限制:必须保持最前台应用不变,禁止唤醒、提升或置前目标窗口;各平台有各自的禁用命令清单。ax 路径可后台执行且驱动可验证,像素路径为尽力而为,需凭截图确认。快照索引会随每次快照失效,不能跨轮或跨窗口复用。Electron、Catalyst、虚拟化列表等表面无障碍树可能失真,需结合截图并升级到像素或 foreground 模式。Wayland 下未聚焦窗口无法后台像素定位,只能转 foreground。

其他:内置代理光标叠加层默认启用,可用 set_agent_cursor_enabled 开关;仅守护进程运行时有 UI 循环支持,一次性 CLI 调用不显示。检查更新可用 cua-driver check-update,配合 cua-driver update --apply 安装。收费标准、具体价格与效果数据暂未提供。