用途:Open Computer Use 将 Computer Use 能力以本地 CLI 和 stdio MCP 服务器形式提供,供智能体在 macOS、Linux、Windows 上执行桌面 GUI 操作。它不绑定特定应用,需按所用智能体运行时调整命令与 MCP 配置。
主要能力:跨三平台提供一致的核心工具集,包括 list_apps、get_app_state、click、perform_secondary_action、scroll、drag、type_text、press_key 和 set_value。
使用方式:先确认 CLI 已安装,可运行 open-computer-use -h 或 ocu -h。macOS 需先执行 sw_vers -productVersion,要求 14.0 或更高;首次真实 GUI 任务前运行 open-computer-use doctor,并按引导授予辅助功能与屏幕录制权限。用 open-computer-use call list_apps 查看应用,用 open-computer-use call get_app_state --args '{"app":"TextEdit"}' 获取界面状态。需要长文本时加 text_limit: 1000 或 "max";页面或列表不完整时增大 max_tree_nodes 或 max_tree_depth。优先使用最新 get_app_state 返回的 element_index 做元素级操作;多步操作可用 open-computer-use call --calls '<json-array>' 在单进程内复用索引。支持本地 MCP 的运行时可用 open-computer-use mcp 或 ocu mcp 配置。
适用场景:需要智能体在真实桌面会话中查看应用、读取界面文本并执行点击、输入、按键等操作的自动化任务。
限制与规则:应把目标桌面视为用户真实会话,未经明确要求不得查看密码管理器、无关隐私内容或敏感应用;发送、删除、购买、批准、上传等外部可见操作前须询问。使用 element_index 前必须先运行 get_app_state,不得跨会话猜测索引。优先语义操作和 set_value,仅在元素树无更安全目标时使用坐标点击、滚动和拖拽。macOS 上除非用户明确要求,不要启用 OPEN_COMPUTER_USE_ALLOW_GLOBAL_POINTER_FALLBACKS=1。Windows 和 Linux 需确认命令运行在已登录桌面会话中。安装、MCP 配置与故障排查细节见 references/installation.md、references/usage.md、references/troubleshooting.md。