cua

Cua 是面向 Computer-Use Agents（CUA）的开源基础设施，目标是让 AI 智能体获得可用的计算机，并能够像人一样操作完整桌面。项目提出“Computer-Use 2.0”的概念，描述智能体在同一任务中在代码、API 与图形界面之间切换。官方资料将 Cua 定位为提供计算机与自动化工具的一方，用户可以自带智能体和模型，也可以使用其专用的 CUA-S1 决策模型。

一、主要组件与用途

1. Cua Spaces：一个桌面应用，为智能体提供完整桌面。每个桌面称为一个 Space，可以是本地 Mac 上构建的 macOS 虚拟机，也可以是 Linux 或 Omarchy 镜像。Space 可运行在 Mac、其他自有机器以及用户自己的云账户（AWS、Google Cloud 或 Modal）中，应用会在菜单栏和刘海区域保持它们。Spaces 支持 Teleport，可把已登录的应用（如 Chrome 或 Slack）移动到 Space 中并在那里保持登录；会话保存在 Cua Keyvault 中，在 Mac 上加密，只有经用户批准后才会进入 Space。它还支持 Multiplayer，用户和智能体可在同一桌面上各自拥有光标协同工作，用户可以介入做出选择再交还桌面。Spaces 镜像自带 cua-spacesd，因此 Space 启动后智能体即可获得进程、文件、截图和输入能力。
2. Cua Driver：为智能体提供检查和操作 macOS、Windows、Linux 上原生桌面应用与浏览器的工具，可通过 CLI、MCP 或类型化 SDK 连接。在应用和平台支持的情况下，后台投递允许智能体工作时不移动用户指针、不抢占焦点。官方教程示例是让智能体在计算器中计算 6 × 7，并验证应用显示 42。CLI、MCP 和 SDK 三种接入方式，并可与 Claude Code、Codex、Cursor、OpenClaw 等智能体集成。
3. Lume：使用 Apple 的 Virtualization.Framework 在 Apple Silicon 上创建和管理本地 macOS 与 Linux 虚拟机。官方教程示例是从 Apple 恢复镜像创建原生 macOS Tahoe 虚拟机、启动并通过 SSH 连接。
4. Cua SDK 与 CLI：提供统一的 SDK 和 cua 命令，用于本地虚拟机和容器，以及任何运行 cua-spacesd 的机器。SDK 在 Python（pip install cua）、TypeScript（@trycua/cua）、Swift（Cua）和 Kotlin（生成的绑定）中提供相同 API，可嵌入进程内运行，也可通过共享的 cua daemon 运行。安装脚本会显示一个简短清单：cua CLI、Cua Spaces 应用（macOS 上默认）、供智能体使用的 cua-driver MCP 与 skill，以及托管本机；随后运行 cua auth login 登录，并可选择把 cua skills 和 cua MCP server 安装到 AI 编程智能体（Claude Code、Codex、Cursor 等）中。可用 sh -s -- --select cua-driver 预选项，或用 --only cua-driver 跳过清单。沙箱本身不需要内置智能体，就绪状态来自运行时和可选端口探测；自带 cua-spacesd（端口 3211）的镜像会通过 cua-driver 增加进程、文件、截图、输入以及低延迟音视频流能力。cua host setup 可让本机通过 cua.ai 中继可达，无需端口转发。
5. CUA-S1：面向计算机使用的小型专用 System 1 模型系列。“System 1”在此作为工程类比，指快速、有边界的决策，例如选择某个字段应填的值，或是否保留某元素不动，并非严格的模型架构分类，也不替代通用智能体的规划与推理。首个研究 profile 聚焦表单：从结构化界面元素和文档值中评分决策，而不是逐 token 生成响应。应用代码负责排列动作顺序，可选的 Cua Driver 集成在明确动作边界内处理执行。项目包含 Python 模型代码、合成数据生成、训练和评估；GitHub 部分是早期仅源码的研究发布，模型权重单独托管在 Hugging Face，源码为 MIT 许可，各模型与数据集卡片应分别查看其范围、限制和特定许可。
6. Cua Bench：用于构建计算机使用任务、评估智能体并导出轨迹用于训练。官方建议从不需要 VM、Docker 或模型 API key 的模拟任务开始，需 Python 3.12 或 3.13 及 uv；教程目标是创建小任务、运行参考解，并验证评估器报告 reward 为 1.0。

二、安装与使用方式 Cua Spaces 需在 macOS 26 或更高版本安装。安装器默认选择 Cua Spaces 应用并添加 cua CLI；也可下载签名的 .dmg，或从 Cua Spaces 0.1.0 发布获取 .pkg。Cua Driver 提供 Windows PowerShell 等安装方式，官方教程涵盖平台设置、权限和智能体连接。Lume 教程直接使用 Lume CLI 并解释无人值守安装默认值。SDK 安装示例包括 pip install cua。

三、许可与限制 Cua Spaces 与 Cua Driver Bench 之外的内容大多为 MIT 许可，包括 cua SDK 及其 Python、TypeScript、Swift、Kotlin 包、cua 命令与 cua daemon、Cua Driver、Lume 等。Cua Spaces 采用 FSL-1.1-MIT 源码可见许可，覆盖 Spaces 应用、cua-spacesd、Cua Keyvault、teleport、Cua Volume 以及流式客户端、编解码器和查看器；流式线协议保持 MIT。该许可允许免费使用、自托管和在其上构建，但不得提供竞争性托管服务，且每个版本在发布两年后转为 MIT。Cua Driver Bench 同样为 FSL-1.1-MIT，2026 年 10 月 11 日前发布的版本（#4973、#4978）为 MIT。MIT 部分从不依赖 FSL 部分。部分子目录有自己的许可，LICENSING.md 列出各目录及两者关系；把 Spaces 或 Cua Driver Bench 作为托管或管理服务提供需查看 COMMERCIAL.md；名称和徽标使用见 TRADEMARKS.md。第三方组件包括：cua-som 为可选包，AGPL-3.0-or-later 许可，其 Ultralytics 依赖保留自身许可；Microsoft OmniParser 仓库内容为 CC-BY-4.0，从单独模型仓库下载的模型文件属不同工件；可选 cua-perception 扩展从 cua-perception-v<version> GitHub 发布的签名资产单独安装，组合了 AGPL-3.0-only 的 OmniParser 模型工件、Apache-2.0 的 PP-OCR 模型工件和单独打包的 ONNX Runtime，该扩展不是 MIT 许可，再分发或通过网络提供给用户可能触发 AGPL-3.0 源码义务，Cua 不重新许可该检测器。Cua Spaces 对个人免费，Pro 和 Teams 计划即将推出。Apple、macOS、Ubuntu、Canonical、Microsoft 是其各自所有者的商标，本项目与这些公司无关联也未获其背书。

四、适用场景 Cua 适用于训练、评估和生成计算机使用智能体数据，构建跨操作系统的智能体桌面环境，桌面自动化与表单决策研究，以及需要智能体操作原生应用和浏览器的任务。使用前需注意平台支持边界、权限要求，以及各组件不同的许可条款。