用途:对真实计算机进行可视化交互,适合无法通过 shell 或 API 完成的 GUI 操作,如测试按钮、填表、验证视觉布局、模糊测试网页、自动化用户流程与截图。
主要能力:查看屏幕、移动鼠标、点击、输入、拖拽、管理窗口,并提供截图、点击、双击、输入文本、按键、快捷键、滚动、拖拽、移动光标、执行 shell 命令、打开 URL 或文件、列出与聚焦窗口等操作。
使用方式:安装检查用 cua --version,缺失时执行 curl -fsSL https://cua.ai/install.sh | sh。连接目标可选用沙箱、relay Space、spacesd URL 或本机(本机需一次性同意:cua do-host-consent && cua do switch host)。核心流程为“查看→操作→验证”,例如 cua do screenshot、cua do click 450 280、cua do screenshot,完成后用 cua trajectory view 分享回放。设置 ANTHROPIC_API_KEY 后 cua do snapshot 可返回带元素坐标的 AI 标注屏幕;未设置则需自行读取截图。
限制与注意:每次界面变化后需重新截图,坐标会失效。点击小或密集元素、尤其在本机时,建议先用 cua do zoom "窗口名" 放大到窗口,坐标变为窗口相对坐标,完成后再 unzoom。所有动作自动记录到 ~/.cua/trajectories/{machine}/{session}/,可用 cua do --no-record 单次禁用。云、docker、lume 等旧式 provider name 对仍可用,完整参数见 references/command-reference.md。