SuperAPI AI 工具集

computer-use

智能体与模型

查看项目

更新于 10-15 23:32

技能介绍

用途:当需要检查或操作本地桌面应用窗口时使用该技能,包括读取无障碍树、截图,以及执行安全的 UI 动作(点击控件、输入、按键、滚动、拖拽、设置值)。同样适用于浏览器窗口、webview 和 Orca 自身 UI。触发词包括 computer use、orca computer、read Spotify、read Slack、在桌面应用中控制/点击/读取、获取应用状态。

解析 CLI:先确定本次会话使用的可执行文件并复用。若设置了 ORCA_CLI_COMMAND 环境变量,使用其值(Orca 为受管 WSL 会话导出)。否则在暴露 ORCA_DEV_REPO_ROOT 的开发检出中使用 orca-dev。否则在非 Orca 管理终端的 Linux 上使用 orca-ide,切勿直接运行裸 orca,因为在 Orca 终端之外它通常解析为 GNOME Orca 屏幕阅读器(/usr/bin/orca)并启动语音。其余情况使用 orca。下文 ORCA 为占位符,运行前需替换,不要创建 shell 变量或直接运行 ORCA。若所选可执行文件无法运行,报告其确切错误并停止,不要回退到其他可执行文件。

加载完整指南:运行 ORCA skills get computer-use,会打印与将处理后续命令的确切二进制版本匹配的完整指南,列出应用/窗口、读取 UI 并驱动点击、输入等无障碍操作。先阅读,再运行所需具体命令。不要凭记忆或缓存副本猜测子命令或标志,它们会随 Orca 版本变化。用 ORCA status --json 确认应用已启动(必要时用 ORCA open --json 启动),面向代理的调用优先使用 --json。

旧版回退:仅当所选二进制明确报告 skills get 是未知命令时使用。其他失败不能证明是旧版,应报告而非猜测或更换可执行文件。对于确认的旧版二进制,仅使用以下只读引导:ORCA status --json、ORCA computer capabilities --json、ORCA computer list-apps --json。然后告知用户更新 Orca 可通过 ORCA skills get computer-use 恢复完整版本匹配指南。除此之外,应询问用户而非猜测该旧版可能不支持的命令面。