用途:Qwen Cua Driver(qwen-cua-driver)用于驱动 macOS、Windows、Linux 上的原生 GUI 应用,可在 CLI(默认)或 MCP 服务器模式下运行,对目标窗口做辅助功能树快照并基于快照执行操作。
主要能力:提供 launch_app、list_windows、get_window_state、get_desktop_state、click、verify_state、set_window_frame、invoke_menu、clipboard_write/clipboard_read、浏览器类工具(get_browser_state、browser_click、browser_type、browser_navigate)等;支持会话录制与 replay_trajectory、代理光标覆盖层及主题/动画调整。管理子命令包括 serve、stop、status、list-tools、describe、recording、check-update、update。
使用方式:默认通过 Bash 调用 qwen-cua-driver <tool-name> '<JSON-args>',例如: qwen-cua-driver serve qwen-cua-driver launch_app '{"bundle_id":"..."}' qwen-cua-driver get_window_state '{"pid":844,"window_id":10725}' qwen-cua-driver click '{"pid":844,"element_token":"s0000002a:14"}' qwen-cua-driver verify_state '{"pid":844,"window_id":10725,"expect":[...]}' qwen-cua-driver stop 仅在用户明确要求时使用 MCP 工具(前缀 mcp__cua-driver__*)。Claude Code 视觉/computer-use 风格流程可执行 qwen-cua-driver mcp-config --client claude,并粘贴运行输出的命令。遇到平台细节应先阅读随附的 MACOS.md、WINDOWS.md、LINUX.md、BROWSER.md、RECORDING.md;不确定时运行 qwen-cua-driver doctor。
核心约束:每个动作之前必须做快照(窗口作用域用 get_window_state,桌面作用域用 get_desktop_state),动作后使用 verify_state 验证可表达的前置条件;结果分为 satisfied、unsatisfied、unknown,unknown 不等于成功。元素索引按 (pid, window_id) 每次快照重建,跨轮次或跨窗口会失效,否则报 No cached AX state。窗口阶段的后台操作不得改变用户最前台应用,需避免各平台禁止的激活/提升窗口命令。
适用场景与限制:适合需要操作原生应用 UI 或窗口状态的自动化任务;若结果只是文件系统或剪贴板变化且调用方有语义化能力,应优先用语义化方式而非模拟用户。像素点击需与同一快照的像素一致。助手光标覆盖层需要合适的 UI 事件循环,macOS 上某些运行时可能返回 facility_unavailable。资料未提供收费、价格、平台完整支持矩阵等细节。