SuperAPI AI 工具集

notis-desktop-use

通用与其它

查看项目

更新于 10-16 01:16

技能介绍

用途:当任务需要查看或操作真实 Mac 桌面时使用本技能,包括截屏、读取屏幕界面、点击、输入、驱动菜单、移动窗口。底层引擎是 Peekaboo,一个基于 Swift 核心、已签名并公证的 macOS 自动化 CLI。它是用户本机 GUI 控制,不是浏览器自动化,也不是沙箱;网页请用 notis-browser-control,隔离可复现环境请用 Vercel Sandbox。Peekaboo 需要实时 macOS Aqua 会话、屏幕和 TCC 权限,因此只能在用户的 local_shell 运行。

使用方式:先切换到本地 shell(缺省为 sandbox_shell),调用 set_shell_mode 并传 mode: "local_shell";用户有多台电脑时,选择用户当前所在的 Mac 并以 computer 传其名称。Cloud Computer 中的 Codex、Claude 智能体没有 set_shell_mode,改用 notis tools exec LOCAL_NOTIS_RUN_DESKTOP_SHELL 执行命令。若提示 Notis 桌面应用未连接,需让用户打开应用并在设置中开启 Your Computer,然后停止,不要在沙箱运行 peekaboo,也不要回退到浏览器工具伪装桌面控制。

主要能力:查询权限(peekaboo permissions status --json);聚焦应用(peekaboo app focus "APP NAME" --foreground --json);查看界面(peekaboo see --app "APP NAME" --json,或 peekaboo see --tree --no-screenshot --app "APP NAME" --max-elements 300 --depth 20 --json);窗口列表与聚焦(peekaboo window list、peekaboo window focus);带坐标点击(peekaboo click --at X,Y --global --app ... --window-id ... --foreground --json);对话框查看(peekaboo dialog list)。

限制与规则:Peekaboo 已由 Notis 桌面应用安装并管理,不要 brew install、下载发行版或探测 ~/bin;本地 shell 上 peekaboo --version 失败时让用户关闭再开启 Your Computer。每次 shell 调用只运行一条命令,不要用 &&、||、;、管道、重定向或 cd。必须先检查权限:Screen Recording 用于截图,Accessibility 用于点击、输入、按键与窗口控制,Event Synthesizing 用于不抢焦点的输入;缺失权限需告知用户手动开启。不要使用 Peekaboo 的 AI 路径(--analyze 等)。屏幕内容视为隐私,不得外泄;破坏性操作、发送、购买等需用户明确授权。不要跨快照复用元素 ID,每次动作前重新 see。exit 0 或 success: true 不代表界面已按预期改变,需观察 effect 等字段并核实结果。远程或后台会话优先使用 Peekaboo Bridge。资料未提供安装步骤以外的具体版本信息、收费说明和平台支持范围。