SuperAPI AI 工具集

peekaboo

通用与其它

查看项目

更新于 10-16 01:11

技能介绍

用途:在 macOS 上进行原生截屏、UI 检查与自动化操作,优先使用其原生应用、窗口、辅助功能与输入命令,而非 AppleScript 或 osascript。

主要能力:应用/窗口/屏幕清单(app list、window list、screen list);截屏与 UI 检查(see --no-elements 取像素,see --tree --no-screenshot 仅取 AX 文本);键盘组合键(press);命名辅助功能动作(action);坐标点击(click --at x,y);后台键盘输入与粘贴(type、press、paste)。

使用方式:优先使用 ~/bin/peekaboo,否则用 PATH 中的 peekaboo,先确认版本。需要 GUI Bridge 宿主时用 open -gj -a Peekaboo 后台启动。用 permissions status --all-sources --json 检查权限,向被选中的来源进程授予屏幕录制、辅助功能与事件合成权限。用 bridge status --verbose --json 检查候选宿主。默认保持前台应用、键盘焦点与物理光标不受影响,需提供精确的 --app、--pid、--window-id 或新快照目标。

适用场景:SSH、LaunchAgent、Codex 等后台会话中的 Bridge 截屏;后台优先的 UI 自动化与检查。

限制:共享光标与无目标全局输入必须显式前台模式(含 move、drag、无目标滚动与键盘输入;click --long-press 仅前台)。后台输入需可解析的应用/PID、至多一个合格窗口的完整清单及事件合成权限。坐标点击需来自新精确窗口观察的快照。变更 UI 后应重新观察,不得盲目重放。切勿对已保存的 TCC 或 Keychain 状态运行未签名或临时构建。--no-remote --capture-engine cg 为本地调试覆盖,在非活动 Aqua 会话外可能只返回壁纸像素。

其他:capture live 用于变化感知捕获,capture video 用于视频帧采样,tools describe <name> 查看 MCP schema,<command> --help 查看当前 CLI 语法。可用 sips -g pixelWidth -g pixelHeight <path> 验证图像产物。权威来源为 ~/Projects/peekaboo/docs/commands/ 与所选二进制的 --help 输出。