用途:cmux 打包了一个本地计算机使用引擎(cmux Computer Use,MCP 代理名为 cmux-cua),并作为名为 cmux-cua 的 MCP 工具服务器附加到 cmux 启动的每个智能体会话(Claude Code、Codex)。智能体据此感知并操作真实 macOS 应用:读取辅助功能树、截图,以及点击、输入、滚动、拖拽。全部通过捆绑的本地 helper 运行,其拥有独立 TCC 身份,上传遥测与更新检查在运行时禁用。
使用方式:仅在用户明确要求通过 cmux-cua 技能使用 cmux Computer Use 时才调用。会话由 cmux 启动时通过包装器注入该 MCP 代理;在 Codex 会话中包装器会禁用 Codex 原生 computer_use 提供方,此时只使用命名空间下的 cmux-cua MCP 工具,若工具缺失或不可用应报告并停止,不得静默切换提供方。可用工具因配置而异:Codex 配置提供 list_apps、get_app_state、click、perform_secondary_action、set_value、select_text、scroll、drag、press_key、type_text;原生 cmux 配置提供 get_window_state、list_apps、launch_app、list_windows、perform_actions 等。cmux 已持有会话身份,不要调用 start_session / end_session 或传入自定义 session。
权限:需要两项一次性授权,均归属 cmux Computer Use 而非主应用——辅助功能(检查并驱动应用 UI)与屏幕录制(截图/视觉)。用户发出功能请求后,首次功能调用会自动打开设置流程,但打开不等于授权,需用户逐步完成。macOS Tahoe 上屏幕录制后还会有一次系统直接捕获确认弹窗,属预期行为,不可抑制,否则截图会失败。不要在此流程进行中调用 check_permissions {prompt:true} 或独立 helper。
限制:仅附加到 cmux 启动且 socket 存活的会话;钩子禁用或 socket 过期的会话不附加。若操作报权限错误应授予辅助功能,截图空白应授予屏幕录制。像素输入有遮挡检查,被遮挡时返回 background_occluded;macOS 上后台坐标拖拽不可用,需以 delivery_mode:"foreground" 重试。默认使用可见指针点击,type_text 仅用于文本字段输入。其他平台支持、收费与价格暂未提供。