SuperAPI AI 工具集

agent-desktop

智能体与模型

查看项目

更新于 10-16 01:31

技能介绍

用途:面向 AI 智能体的原生桌面自动化命令行工具,通过操作系统辅助功能树观察并操作桌面界面,供智能体以结构化方式驱动 GUI。

主要能力:将辅助功能树导出为结构化 JSON,生成快照范围的引用(如 @e1);支持基于引用的语义操作而非坐标点击。命令面涵盖观察(snapshot、screenshot、find、get、is、list-surfaces)、交互(click、type、check、toggle 等)、滚动、键盘、鼠标、应用与窗口管理、通知、剪贴板、等待与批处理等。所有真实命令在 stdout 输出 JSON 信封,退出码 0 表示成功、1 表示结构化运行时错误、2 表示参数或解析错误。

使用方式:核心循环为先授权再快照后操作:先运行 agent-desktop permissions 检查或申请权限;再执行 agent-desktop snapshot --app "App Name" -i 获取快照与 snapshot_id;随后用 click @e5 --snapshot <snapshot_id> 等命令操作引用;通过 wait --text 或 wait --predicate actionable 等待界面变化,再重新快照。规则包括:操作前必须快照、不可猜测 UI 状态;保留并传递 snapshot_id;引用为临时对象,界面变化后需重新快照;优先用引用而非坐标;遇到 STALE_REF 或 AMBIGUOUS_TARGET 时重新快照并选取新引用,不要重试旧引用;并发智能体可用 --session 隔离;诊断可用 --trace;仅在需要真实物理输入时使用 --headed。

安装:该 Printing Press 包安装的是目录桥接器 agent-desktop-pp-cli,它不重新实现自动化,而是安装或委托真实远程包。先安装桥接器:npx -y @mvanhorn/printing-press-library install agent-desktop --cli-only,并用 agent-desktop-pp-cli --version 验证;若 npx 失败,可回退到 go install github.com/mvanhorn/printing-press-library/library/developer-tools/agent-desktop/cmd/agent-desktop-pp-cli@latest(需 Go 1.26.6 或更新)。之后安装真实 CLI:agent-desktop-pp-cli install --version latest 并使用 agent-desktop-pp-cli doctor 验证。真实二进制内置版本匹配的技能文档,建议先用 agent-desktop skills 系列命令获取。桥接器还提供 info、install、doctor、run 等目录与诊断命令。

适用场景:需要智能体观察、检查或操作本机桌面应用界面的自动化任务。

限制:macOS 是第一阶段完整实现的适配器;启动方应用需获得辅助功能权限,截图需要屏幕录制权限,部分界面可能还需自动化权限。权限被拒绝时应停止并按返回的 error.suggestion 处理,不要用坐标点击绕过 TCC 失败。其他平台支持情况资料暂未提供。