SuperAPI AI 工具集

computer-use

智能体与模型

查看项目

更新于 10-15 21:39

技能介绍

用途:computer-use 技能用于驱动本地可见应用窗口的图形界面,通过 orca computer 命令完成无障碍树读取、点击、输入、菜单与对话框操作,并支持在原生应用中截图。

主要能力:操作 GUI 元素(无障碍树、点击、输入、菜单、对话框)以及截图。

使用方式:先解析本次会话使用的 CLI 可执行文件并全程复用。若设置了 ORCA_CLI_COMMAND 环境变量,使用其值(Orca 会为受管 WSL 会话导出该变量);否则在暴露 ORCA_DEV_REPO_ROOT 的开发检出中使用 orca-dev;否则在非 Orca 受管终端的 Linux 上使用 orca-ide,切勿在该环境运行裸 orca,因为它通常解析为 GNOME Orca 屏幕阅读器(/usr/bin/orca)并会在用户机器上启动语音;其余情况使用 orca。文中 ORCA 是可执行文件的占位符,运行前需替换,不要创建 shell 变量或直接运行 ORCA。运行 Orca 命令前先加载版本匹配的指南:ORCA skills get computer-use。优先使用 --json。指南未覆盖的命令或标志可用所选可执行文件的 --help 查询。若命令报告 Orca 未运行,用 ORCA open --json 启动后重试。若报 runtime_access_denied,说明沙箱阻止了连接,需以提升权限重跑,且不要运行 ORCA open 或重启 Orca。若 skills get 未知,说明更新 Orca 可恢复指南,可用 --help 做只读发现,不要猜测不支持的命令。

限制:所选可执行文件无法运行时,应报告其确切错误并停止,不要回退到其他可执行文件,以免静默指向不同的 Orca 构建。