SuperAPI AI 工具集

peekaboo

通用与其它

查看项目

更新于 10-16 03:06

技能介绍

用途:Peekaboo 是 macOS 上的 UI 检查与自动化命令行工具,用于识别目标应用界面元素、对指定目标执行操作,并再次检查以验证结果。

主要能力:列出已安装应用(app list)、截取或读取界面(see,可带元素标注或纯像素截图)、按键与组合键(press)、拖拽(drag,--from … --to …),以及帮助中列出的点击、输入、滚动、窗口和菜单管理等命令。--json 可请求结构化输出。

使用方式:先用根帮助发现命令,再用叶子命令帮助查看标志与定位要求,例如 peekaboo --help、peekaboo app list --help、peekaboo see --help、peekaboo press --help、peekaboo drag --help。示例采用 v4 语法,可用 peekaboo --version 确认版本。操作前先做应用清单与目标的新鲜视图(如 peekaboo see --app Safari --window-title "Example" --annotate --path /tmp/peekaboo-example.png --json),读取返回元素后再操作,操作后再次检查 UI。动作应绑定目标应用、窗口和最新快照,不要复用示例元素 ID;窗口变化或目标过期时刷新观察。

OpenClaw Bridge:当 Computer Control 启用且提供者为 Peekaboo、Bridge 启用时,OpenClaw macOS 应用承载 Peekaboo Bridge。通过该主机运行时保留现有 socket 选择:export PEEKABOO_BRIDGE_SOCKET="${PEEKABOO_BRIDGE_SOCKET:-$HOME/Library/Application Support/OpenClaw/bridge.sock}",再用 peekaboo bridge status --json 确认。不要清除显式选择或切换 Computer Control 提供者来让命令成功;无所需权限时不要传 --no-remote。

v4 命令变更:list apps→app list;image→see --no-elements;hotkey→press 组合键(如 cmd+shift+t);swipe→drag --from … --to …。

限制与排障:权限属于执行操作的进程或 Bridge 主机。原始键盘组合键需要显式前台交互或 press 接受的新鲜 exact-window 凭证;拖拽会移动共享光标并要求 --foreground。命令被移除时按安装版本提示的替代命令处理;主机或权限失败时检查 peekaboo bridge status --json 与 peekaboo permissions status --json;定位失败时读叶子帮助并用 see 获取最新状态。macOS 15+ 的私有窗口选择提示与基础屏幕录制授权分开,即使 Bridge 权限正确也可能出现。更多收费、价格、平台细节暂未提供。