SuperAPI AI 工具集

computer-use

智能体与模型

查看项目

更新于 10-16 07:15

技能介绍

用途:在需要检查或操作本地桌面应用窗口时使用 Orca 的 computer-use 能力,包括读取无障碍树、截图,以及执行点击控件、输入文字、按键、滚动、拖拽、设值等安全 UI 操作;同样覆盖浏览器窗口、webview 与 Orca 自身 UI。触发场景包括 computer use、orca computer、读取 Spotify/Slack、在桌面应用中控制/点击/读取、获取应用状态。

使用方式:先解析本次会话的可执行文件并全程复用。若设置了环境变量 ORCA_CLI_COMMAND 则用其值(Orca 为托管 WSL 会话导出);否则在暴露 ORCA_DEV_REPO_ROOT 的开发检出中用 orca-dev;否则在非 Orca 托管终端的 Linux 上用 orca-ide,那里切勿直接运行裸 orca(通常会解析为 GNOME Orca 屏幕阅读器 /usr/bin/orca 并触发语音);否则用 orca。下文 ORCA 仅为占位符,运行前需替换,不要创建 shell 变量或字面执行 ORCA,该方法在 POSIX shell、PowerShell 和 cmd.exe 中一致。若所选可执行文件无法运行,报告其确切错误并停止,不要回退到其它可执行文件。

运行命令前先加载完整指南:ORCA skills get computer-use,它会打印与将要处理后续命令的确切二进制版本匹配的完整指南,先读再运行具体命令。不要凭记忆或本缓存推测子命令与标志,它们随 Orca 版本变化。用 ORCA status --json 确认应用已启动(必要时 ORCA open --json 启动),面向智能体调用优先使用 --json。若旧版 Orca 不识别 skills get,仅在所选二进制明确报告该命令未知时使用以下有界只读引导:ORCA status --json、ORCA computer capabilities --json、ORCA computer list-apps --json,然后告知用户更新 Orca 可经 ORCA skills get computer-use 恢复完整指南;超出这些命令应询问用户而非猜测。