SuperAPI AI 工具集

computer-use

编程与开发

查看项目

更新于 10-16 02:36

技能介绍

用途:当 API 无法满足需求时,通过 Computer Use 在已连接的桌面主机上检查并操作应用。当前客户端呈现为 Okou Desktop,仍受支持的旧版客户端可能称为 Zero Desktop。它是一套无障碍优先的 GUI 控制界面:先读取应用状态,通过无障碍元素操作,仅在需要视觉信息或无障碍状态不足时才查看截图。

主要能力:使用 okou computer-use <command> 执行操作。核心命令包括 list-apps(列出应用)、open-app(按 bundle id 打开应用)、get-app-state(读取应用状态)、click、set-value、type-text、press-key、scroll。get-app-state 返回 snapshotId、appState(通常为包含完整无障碍树的本地文件路径)和 screenshot(本地图片路径)。后续操作需使用同一 snapshotId。

使用方式:--app 只接受应用 bundle id,如 com.apple.Safari 或 com.google.Chrome,不能传显示名称。先运行 okou computer-use list-apps,从结果中复制 bundleId;若应用未运行,用 okou computer-use open-app --app "$app_bundle_id" --timeout 10 打开;再用 get-app-state 读取状态,从 appState 文件中查找元素索引、角色、标签、URL 和焦点元素。操作优先使用 --element-index,仅在无障碍树无可用元素且截图明确显示目标时才用坐标。每次界面变化后应重新读取状态,因为元素索引和坐标可能失效。

适用场景:常规表单、按钮、列表、链接和导航等无障碍信息充足的任务;浏览器导航可用 Command+L 等快捷键配合输入。

限制:应用必须具有 bundleId 才可定位;无 bundleId 的应用无法通过 Computer Use 操作。若出现 app_not_found、window_unavailable、element_not_editable、permission_denied、accessibility_unavailable 或 screen_recording_unavailable,应按对应说明处理或报告缺失的桌面权限,而非重复执行同一命令。避免执行破坏性 UI 操作,除非用户明确要求且当前状态确认目标。