SuperAPI AI 工具集

computer-use

办公与效率

查看项目

更新于 11-04 22:39

技能介绍

computer-use 是 Orca 生态中的一项桌面自动化技能,用于在本地环境中检查并操作桌面应用窗口。它的核心用途是让代理或用户以结构化方式获取应用窗口状态,并在必要时执行受控的界面操作。

主要能力包括:读取窗口的无障碍树,了解界面中的控件与层级;截取屏幕截图;执行安全的 UI 动作,如点击控件、输入文本、按下按键、滚动、拖拽以及设置数值。适用范围不只限于普通桌面应用,也包括浏览器窗口、网页视图和 Orca 自身的界面。

使用方式上,该文件只是发现存根,并非完整使用指南。完整、与版本匹配的 computer-use 参考由 orca 二进制程序自身提供,以避免文档与真正执行命令的程序发生偏差。使用前应先确定本次会话使用的可执行文件:若设置了 ORCA_CLI_COMMAND 环境变量,使用其值;若处于开发检出环境并暴露了 ORCA_DEV_REPO_ROOT,使用 orca-dev;在 Linux 上且不在 Orca 管理的终端内,使用 orca-ide,不要直接运行 orca,因为在 Orca 终端之外它通常指向 GNOME Orca 屏幕阅读器并会在用户机器上启动语音;其余情况使用 orca。确定后可执行对应命令加载完整指南,再运行所需的具体命令。建议先通过状态命令确认应用已启动,代理驱动的调用优先使用 JSON 输出。若所选可执行文件无法运行,应报告其确切错误并停止,不要回退到其他可执行文件。

适用场景包括读取 Spotify、Slack 等桌面应用的状态,控制或点击桌面应用中的控件,获取应用界面状态,以及处理浏览器窗口和网页视图。

限制方面:不支持从记忆或缓存副本猜测子命令和参数,因为它们会随 Orca 版本变化;若旧版 Orca 明确报告无法识别完整指南命令,只能使用有限的只读引导命令进行定位,并提示用户更新 Orca 以恢复完整指南,除此之外应询问用户而不是猜测命令。