SuperAPI AI 工具集

computer-use

智能体与模型

查看项目

更新于 10-16 08:18

技能介绍

Computer Use 是 Orca 生态中的一个技能,用于通过命令行驱动本地可见应用窗口的图形用户界面(GUI)。

用途 该技能面向需要以程序化方式操作本地原生应用界面的场景。它通过 orca computer 命令,借助无障碍树(accessibility tree)来定位和操作界面元素,从而完成点击、输入文字、操作菜单和对话框等交互,并支持对原生应用进行截图。

主要能力 根据资料,其能力包括:无障碍树访问、点击、输入文字、菜单操作、对话框操作,以及对原生应用的截图。

使用方式 该技能是一个发现入口(discovery stub),会加载与本次会话所用 Orca 可执行文件版本匹配的指南。使用流程如下:

  1. 确定本次会话的 CLI 可执行文件,并在后续所有命令中复用同一个:

    • 若设置了环境变量 ORCA_CLI_COMMAND,则使用其值。Orca 会为受管的 WSL 会话导出该变量。
    • 否则,在暴露了 ORCA_DEV_REPO_ROOT 的开发检出(dev checkout)中,使用 orca-dev。
    • 否则,在 Orca 管理的终端之外的 Linux 上,使用 orca-ide。切勿在该环境下直接运行裸 orca——在 Orca 的终端之外,它通常解析为 GNOME Orca 屏幕阅读器(/usr/bin/orca),并会在用户机器上启动语音。
    • 否则,使用 orca。
  2. 文档中的 ORCA 是所解析出的可执行文件的占位符,运行前需替换为实际值;不要创建 shell 变量,也不要字面运行 ORCA。该方式在 POSIX shell、PowerShell 和 cmd.exe 中同样适用。

  3. 若所选可执行文件无法运行,应报告其确切错误并停止,不要回退到其他可执行文件,以免静默地指向不同的 Orca 构建。

  4. 在运行 Orca 命令前,先加载版本匹配的指南:ORCA skills get computer-use。

  5. 优先使用 --json。对于指南未覆盖的命令或标志,使用所选可执行文件的 --help。若命令报告 Orca 未运行,则用 ORCA open --json 启动后重试。若 skills get 未知,应说明更新 Orca 可恢复该指南;使用 --help 进行只读发现,不要猜测不受支持的命令。

适用场景 适用于需要在本地原生应用中执行 GUI 自动化操作的场景,例如通过无障碍树定位元素、模拟点击与输入、处理菜单和对话框,以及截取应用窗口画面。

限制 该技能依赖 Orca 可执行文件与版本匹配的指南;在 Orca 管理的终端之外的 Linux 环境中,直接运行裸 orca 可能误触发 GNOME Orca 屏幕阅读器。所选可执行文件无法运行时不应回退到其他可执行文件。关于收费、价格、平台支持范围等更多信息,资料暂未提供。