SuperAPI AI 工具集

computer-use

通用与其它

查看项目

更新于 10-16 06:23

技能介绍

用途:通过 alera computer 命令检查并操作桌面应用窗口。目标是网站时,应操作显示该页面的桌面浏览器窗口;应用选择器指向桌面应用而非网站。

主要能力:列出应用与窗口、读取窗口的无障碍树、点击元素、设置文本值、执行元素列出的次要操作。先运行 alera computer --json capabilities 查看 supported、unsupportedReason 与 supports.actions;--json 属于命令组,需放在子命令之前,例如 alera computer --json get-app-state --app krunner。

使用方式:典型循环为 list-apps、get-app-state、click。每个操作都会返回新的观察结果,无需单独读取。元素索引短暂且稀疏:不要推断索引,elementCount 只是计数;不要跨变更、跨应用或跨窗口沿用索引,需重新读取。文本字段优先用 set-value,它不需要键盘焦点且效果可确认;控件用 click;次要操作只能用树中列出的名称;敏感文本用 --value-stdin。

验证与限制:每个操作报告 verification,verified 表示读回匹配,unverified 表示未确认,需读取返回的树确认。合成键盘与指针输入(type-text、press-key、hotkey、paste-text、scroll、drag)及屏幕捕获目前在所有平台均不可用。窗口句柄因平台而异:Windows 支持 --window-id,Linux 与 macOS 用 --window-index。Electron、Chromium 与 webview 窗口常只暴露窗口本身或少量容器,近乎空的树属于该情况而非可重试的失败。macOS 按可执行文件授予辅助功能权限;Windows 只能看到拥有桌面的会话;Linux 需要 at-spi2-core 运行。错误均带代码与 nextSteps,应照做而非重复调用。密码管理器被直接阻止。除非用户明确要求,不要提交表单、发送消息、发布、购买、删除数据或更改账户设置。