SuperAPI AI 工具集

munim-computer-use

Munim Computer Use 是一个开源计算机使用 MCP 服务器(CUA 后端),让任何编码智能体像人一样操作电脑,支持 macOS、Windows 和 Linux。它采用“无障碍优先”策略:通过无障碍树读取界面并返回稳定的元素 ID,而非依赖像素坐标;截图仅用于验证和无障碍树无法描述的内容。它支持后台输入,即智能体操作不占用你的鼠标和键盘,并显示一个淡紫色智能体指针标示其工作位置。它可驱动你已登录的 Chrome,为智能体开辟独立的标签组,同时支持接管你已打开的标签页、缩放小字、并行任务与会话隔离。它兼容 Claude Code、Codex、Cursor、MT Code 等任何 MCP 客户端,无需视觉模型即可交互,本地模型也可运行。项目由 Munim Technologies 开发,并提供策略配置文件以限制智能体可访问的应用与网站。

访问官网

工具介绍

Munim Computer Use 是一个开源的计算机使用 MCP 服务器,作为计算机使用智能体(CUA)后端,让任何编码智能体能够像人一样使用你的电脑。它支持 macOS、Windows 和 Linux,可与 Claude Code、Codex、Cursor、MT Code 或任何其他 MCP 客户端配合使用,且支持任意模型,交互过程不需要视觉模型。该项目由 Munim Technologies 构建,作为 MT Code 的计算机使用引擎,并单独发布。

主要能力方面,它采用无障碍优先、像素其次的设计。get_app_state 返回应用的无障碍树及稳定元素 ID,智能体据此按下按钮而非猜测坐标,相比截图消耗更少 token。它能快速列出屏幕上可见的内容,对超出视口的部分进行跳过和计数;遇到对话框时优先列出其控件。对于 Electron 和 Chromium 应用(macOS),它会主动请求无障碍树。当应用没有标注控件时,会使用设备端 OCR(macOS 用 Apple Vision,Windows 用 Windows OCR)读取窗口,图像不离开本机。每个 ID 在操作前都会重新检查,若元素消失或角色、名称改变,操作会明确失败而非误操作。它等待应用的无障碍通知停止,而非固定暂停。它支持后台控制,在 macOS 上通过 SkyLight 向目标窗口发送事件,智能体绝不占用你的鼠标键盘;并提供淡紫色智能体指针覆盖层,不触碰你的光标。截图和缩放会携带屏幕原点和每点像素数,zoom 可按物理分辨率捕获任意区域。

使用方式上,你可以从 Releases 下载对应平台的二进制文件(munim-computer-use-macos-universal.zip、munim-computer-use-windows-x64.zip),或从源码构建,将其放入 PATH,macOS 上运行 munim-computer-use request-permissions 一次以申请辅助功能和屏幕录制权限,然后在你的智能体中注册。之后即可要求智能体完成任务,例如“打开 Safari,找到周二飞往丹佛最便宜的航班并记入笔记”。智能体通过 get_app_state 读取界面,按元素 ID 操作,并用 screenshot 验证。

它还能驱动你已登录的 Chrome:扩展为智能体提供带标签的独立标签组,除非你指定,否则不干扰你的标签。browser_list_tabs all=true 可查看所有标签,browser_use_tab 可原地接管一个标签(不移动、不激活、不重载),browser_release_tab 可提前归还。智能体点击打开的标签归其所有,并在清理时关闭。每个 MCP 进程拥有自己的标签组,一个进程可通过稳定的 session_id 运行多个任务;任务之间不能互相驱动或接管标签,清理只关闭自己的标签。任何数量的 MCP 进程共享同一个扩展,首个进程拥有它,其余通过它工作,拥有者退出后另一个接管且不关闭任何人的标签。任务共享 Chrome 的 cookie 和登录,但桌面应用和剪贴板并不隔离。

浏览器操作支持就绪性检查和安全的重新观察:browser_click、browser_type、browser_press_key、browser_navigate 可接受 wait_for_selector 与 return_state: true,browser_snapshot 也可接受同样的等待而不执行操作。扩展会轮询顶层文档中任何匹配的可见元素,共享快照的可见性规则。wait_timeout_ms 默认为 8000,接受 0 到 10000 的整数,0 表示检查一次。readiness: met 表示观察到指定条件,但不保证所有网络请求、动画或应用工作已结束;readiness: timeout 表示未在预算内观察到条件。

密码安全方面,browser_request_credentials 会要求用户在一个显示网站真实来源的小型 Chrome 窗口中登录,输入内容直接进入页面字段,绝不返回给模型。browser_snapshot 从不显示密码字段的值,桌面上默认拒绝在密码字段中输入。你还可以用策略文件决定智能体可接触的应用和网站:在支持目录放置 policy.json,或通过 COMPUTER_USE_POLICY 指向任意文件。可按应用或网站设置 allow、ask 或 block,ask 会在首次访问时提示用户,批准持续到该智能体任务结束。应用按名称或 bundle id 匹配(忽略大小写),网站按主机及子域匹配,最具体规则优先,并在每次浏览器操作时对当前页面重新检查。更改立即生效无需重启,无效文件会阻止一切而非被忽略。需注意这是行为护栏而非沙箱。

适用场景包括让编码智能体自动化桌面应用操作、浏览器任务、后台数据读取等。限制方面,不同平台的后台控制能力不同:macOS 保证不占用用户指针,Windows 为尽力而为并会报告是否通过光标,Linux 的指针操作会使用真实指针。最小化窗口的坐标操作在部分平台会报错要求恢复窗口。Frames 和 shadow roots 不会被搜索。关于收费、价格、具体平台细节或其他未提及信息,资料中暂未提供。