SuperAPI AI 工具集

computer-use

通用与其它

查看项目

更新于 10-16 00:03

技能介绍

用途:通过 orca computer 驱动本地可见应用窗口的 GUI,覆盖无障碍树、点击、输入、菜单、对话框以及原生应用中的截图操作。

主要能力:针对原生应用与可见窗口执行 GUI 自动化;使用无障碍树进行识别;支持点击、键入、菜单与对话框交互;支持截图。

使用方式:本条目为 discovery stub,会在会话中从所用 Orca 可执行文件加载版本匹配的指南。先确定本次会话的 CLI:若已设置环境变量 ORCA_CLI_COMMAND,则使用其值(Orca 会为托管的 WSL 会话导出该变量);否则在暴露 ORCA_DEV_REPO_ROOT 的开发检出中使用 orca-dev;否则在非 Orca 托管终端的 Linux 上使用 orca-ide,文档特别提醒此时不要运行裸 orca,因为在 Orca 终端之外它通常解析为 GNOME Orca 屏幕阅读器(/usr/bin/orca)并启动语音;其余情况使用 orca。文中 ORCA 是占位符,运行前需替换为选定的可执行文件,不要创建 shell 变量或按字面运行 ORCA。选定可执行文件若无法运行,应报告确切错误并停止,不要回退到其他可执行文件。运行 Orca 命令前先加载版本匹配指南,命令为:ORCA skills get computer-use。优先使用 --json;指南未覆盖的命令或标志使用所选可执行文件的 --help 查询。若命令报告 Orca 未运行,用 ORCA open --json 启动后重试;若报 runtime_access_denied,说明沙箱阻止了连接,应以提升权限重跑,且不要运行 ORCA open 或重启 Orca;若 skills get 未知,说明更新 Orca 可恢复该指南,可用 --help 做只读发现,不要猜测不支持的指令。

适用场景:可见本地应用窗口的原生 GUI 自动化与交互操作。

限制:资料未提供更多平台覆盖、权限要求或功能效果等细节。