SuperAPI AI 工具集

computer-use

通用与其它

查看项目

更新于 10-16 07:14

技能介绍

用途:当需要检查或操作本地桌面应用窗口时使用该技能,可读取应用的无障碍树、截图,并执行安全的 UI 动作,如点击控件、输入文字、按键、滚动、拖拽和设置值。它也适用于浏览器窗口、webview 以及 Orca 自身的界面。常见触发场景包括“computer use”“orca computer”“read Spotify”“read Slack”“在桌面应用中控制/点击/读取”以及“获取应用状态”。

主要能力:通过 Orca 的 computer-use CLI 列出应用与窗口、读取 UI 状态、驱动点击与输入等无障碍操作。

使用方式:先为当前会话确定可执行文件并全程复用。若设置了 ORCA_CLI_COMMAND 环境变量,使用其值;否则在暴露 ORCA_DEV_REPO_ROOT 的开发检出中使用 orca-dev;否则在非 Orca 管理的 Linux 终端中使用 orca-ide,切勿直接运行裸 orca,因为在 Orca 终端之外它通常解析为 GNOME Orca 屏幕阅读器(/usr/bin/orca)并启动语音;其余情况使用 orca。下文 ORCA 是占位符,运行前需替换,不要创建 shell 变量或直接运行 ORCA。若所选可执行文件无法运行,报告其确切错误并停止,不要回退到其他可执行文件。运行 Orca 命令前先加载完整指南:ORCA skills get computer-use,它会输出与将处理后续命令的二进制版本匹配的完整指南。不要凭记忆或缓存的旧副本猜测子命令或标志。可用 ORCA status --json 确认应用已启动(必要时用 ORCA open --json 启动),面向智能体的调用优先使用 --json。若旧版 Orca 不识别 skills get,仅在所选二进制明确报告 skills get 为未知命令时,使用只读引导命令:ORCA status --json、ORCA computer capabilities --json、ORCA computer list-apps --json,然后告知用户更新 Orca 可恢复完整指南。

限制:本文件仅为发现存根,不是使用指南;完整且版本匹配的参考由 orca 二进制自身提供,以避免与将实际运行命令的二进制产生偏差。除上述明确命令外,不要猜测旧版二进制可能不支持的命令面,应向用户询问。