Computer Use 是 stablyai/orca 提供的一项技能,用于通过 orca computer 命令驱动本地可见应用窗口的图形界面(GUI)。其能力包括基于无障碍树(accessibility tree)的交互、点击、输入、菜单操作、对话框处理以及截图,适用于原生应用等场景。
用途 该技能面向需要通过命令行控制本地可见应用窗口 GUI 的场景,借助无障碍树实现对界面元素的定位与操作,并支持截图以获取界面状态。
主要能力
- 通过
orca computer驱动本地可见应用窗口的 GUI - 基于无障碍树进行操作
- 支持点击、输入、菜单、对话框交互
- 支持截图
- 可作用于原生应用等
使用方式 该技能是一个发现入口(discovery stub),会加载与本次会话所用 Orca 可执行文件版本匹配的指南。使用流程如下:
-
解析本次会话的 CLI 可执行文件,选定一次后在后续所有命令中复用:
- 若设置了环境变量 ORCA_CLI_COMMAND,则使用其值。Orca 会为受管的 WSL 会话导出该变量。
- 否则,在会话暴露 ORCA_DEV_REPO_ROOT 的开发检出环境中,使用 orca-dev。
- 否则,在 Orca 管理的终端之外的 Linux 上,使用 orca-ide。切勿在该环境运行裸 orca——在 Orca 的终端之外,它通常解析为 GNOME Orca 屏幕阅读器(/usr/bin/orca)并会在用户机器上启动语音。
- 否则,使用 orca。 下文中的 ORCA 是所解析可执行文件的占位符,运行前需替换;不要创建 shell 变量,也不要字面运行 ORCA。该方式在 POSIX shell、PowerShell 和 cmd.exe 中同样适用。 若所选可执行文件无法运行,应报告其确切错误并停止,不要回退到其他可执行文件,否则可能静默指向不同的 Orca 构建。
-
在运行 Orca 命令前加载版本匹配的指南: ORCA skills get computer-use
-
优先使用 --json。对于指南未覆盖的命令或标志,使用所选可执行文件的 --help。
错误处理
- 若命令报告 Orca 未运行,使用 ORCA open --json 启动后重试。
- 若失败并返回 runtime_access_denied,说明沙箱阻止了连接:以提升的权限重新运行,且不要运行 ORCA open 或重启 Orca。
- 若 skills get 未知,说明更新 Orca 可恢复该指南;使用 --help 进行只读发现,不要猜测不支持的命令。
适用场景 适用于需要通过命令行以编程方式操作本地可见应用 GUI 的场景,包括原生应用中的点击、输入、菜单与对话框交互,以及需要截图获取界面状态的场合。
限制
- 该技能为发现入口,需先解析正确的可执行文件并加载版本匹配的指南后才能使用。
- 在 Orca 管理的终端之外的 Linux 环境,不能运行裸 orca,否则会触发 GNOME Orca 屏幕阅读器。
- 所选可执行文件无法运行时不得回退到其他可执行文件。
- 遇到 runtime_access_denied 时需以提升权限重跑,且不得运行 ORCA open 或重启 Orca。
- 关于收费、价格、平台支持范围等具体信息,资料暂未提供。