SuperAPI AI 工具集

computer-use

通用与其它

查看项目

更新于 10-15 23:41

技能介绍

用途:通过 orca computer 命令对本地桌面 UI 进行检视与操作。若目标为网站或 Web 应用,则操作包含该页面的桌面浏览器应用或窗口。

前提:优先使用 orca computer ...;Linux 上若 orca 不可用则用 orca-ide computer ...;在 Orca worktree 中仅在测试本地开发运行时时使用 ./config/scripts/orca-dev computer ...。优先加 --json,截图字节会从 JSON 中省略并写入 screenshot.path。除非用户明确要求,否则不要推送、提交表单、发送消息、购买商品、删除数据、更改账户设置或泄露密钥;应用含敏感内容时只读取用户请求的部分。

核心用法:先运行 orca status --json 和 orca computer capabilities --json,再用 orca computer list-apps --json、get-app-state --app <app> --json、click --app <app> --element-index <index> --json。每次操作后使用新返回的状态选取下一个元素索引;元素索引是树中的数字标签,可能稀疏,短时有效,延迟、导航、焦点变化、滚动、窗口变化或重渲染后会失效。应用选择器优先用 list-apps 中的 bundle ID,名称无歧义时可用名称,仅在无法区分时用 pid:<number>。多窗口应用先运行 list-windows,优先 --window-id <id>(非 none 时),否则 --window-index <n>。

命令覆盖权限、能力、列应用、列窗口、获取状态、点击、次要操作、设值、输入文本、按键、热键、粘贴、滚动、拖拽等;敏感文本用 --text-stdin 或 --value-stdin 避免进入 shell 历史。截图不可用时加 --no-screenshot。坐标是窗口本地坐标,需按最新状态转换;截图 scale 不为 1 时按 action_x = screenshot_pixel_x / screenshot.scale 换算。

限制与错误:app_not_found 需用 bundle ID 重试,Web 应用应选承载它的桌面浏览器而非网站名;app_blocked 应停止;element_not_found 表示索引过期需重新获取状态;其余如 unsupported_capability、action_timeout、screenshot_failed、accessibility_error 等按提示处理或修复参数。

分类:桌面应用操作与自动化,归入通用与其它。