SuperAPI AI 工具集

open-computer-use

智能体与模型

查看项目

更新于 10-15 22:16

技能介绍

用途:Open Computer Use 将 Computer Use 能力以本地 CLI 和 stdio MCP 服务器形式提供,用于让代理在 macOS、Linux、Windows 上操作桌面 GUI。它并非 Codex.app 专属,命令与 MCP 配置需适配实际代理运行时。

主要能力:跨三平台支持同一核心工具集,包括 list_apps、get_app_state、click、perform_secondary_action、scroll、drag、type_text、press_key 和 set_value。macOS 额外提供 query,可通过文本和/或角色定位控件,无需渲染树或截图。

使用方式:macOS 需先运行 sw_vers -productVersion 确认 14.0 或以上。用 open-computer-use -h 或 ocu -h 检查安装;缺失时参考 installation.md。首次真实 GUI 任务前运行 open-computer-use doctor,并在引导界面授予辅助功能与屏幕录制权限。用 open-computer-use call list_apps 查看应用;用 open-computer-use call get_app_state --args '{"app":"TextEdit"}' 获取当前界面状态。长文本可用 text_limit: 1000 或 "max";页面不全可加大 max_tree_nodes 或 max_tree_depth。优先使用最新状态中的 element_index 定位元素;多步操作可用 open-computer-use call --calls '<json-array>' 复用索引。支持 MCP 的运行时配置 open-computer-use mcp 或 ocu mcp。代码优先编排可用 ocu capabilities 与 ocu js 或 ocu repl。

适用场景与限制:适合需要让代理操作真实桌面应用的 GUI 自动化任务。操作规则要求把目标桌面视为用户真实会话,非任务相关密码管理器、隐私内容与敏感应用不应查看;发送、删除、购买、批准、上传等外部可见变更前需先询问。始终先 get_app_state 再使用 element_index,不可跨会话猜测。优先语义操作与 set_value,仅在元素树无更安全目标时用坐标点击。macOS 上除非用户明确要求 click_method: "global" 或需要窗口服务器拖拽会话等,不要启用 OPEN_COMPUTER_USE_ALLOW_GLOBAL_POINTER_FALLBACKS=1。Windows 和 Linux 需确认命令在已登录桌面会话中运行。故障排查见 references/troubleshooting.md。