SuperAPI AI 工具集

peekaboo

通用与其它

查看项目

更新于 10-16 13:00

技能介绍

Peekaboo 是一款完整的 macOS UI 自动化命令行工具(CLI),提供屏幕截图与检查、UI 元素定位、输入驱动以及应用/窗口/菜单管理能力。所有命令共享一个快照缓存,并支持 --json/-j 参数以便于脚本化调用。运行 peekaboo 或 peekaboo <cmd> --help 可查看相关参数;peekaboo --version 可打印构建元数据。提示:通过 polter peekaboo 运行可确保使用最新构建。

主要能力

核心功能:

  • bridge:检查 Peekaboo Bridge 主机的连接情况
  • capture:实时捕获或视频导入及帧提取
  • clean:清理快照缓存和临时文件
  • config:初始化/显示/编辑/校验配置、提供方、模型与凭据
  • image:截取屏幕截图(屏幕/窗口/菜单栏区域)
  • learn:打印完整的智能体指南与工具目录
  • list:列出应用、窗口、屏幕、菜单栏、权限
  • permissions:检查屏幕录制与辅助功能状态
  • run:执行 .peekaboo.json 脚本
  • sleep:暂停执行指定时长
  • tools:列出可用工具,支持过滤与显示选项

交互功能:

  • click:按 ID/查询/坐标定位点击,带智能等待
  • drag:在元素/坐标/Dock 之间拖放
  • hotkey:组合键,如 cmd,shift,t
  • move:光标定位,可选平滑移动
  • paste:设置剪贴板 -> 粘贴 -> 还原
  • press:特殊按键序列,支持重复
  • scroll:方向滚动(定向且平滑)
  • swipe:目标之间的手势式拖动
  • type:输入文本与控制键(--clear、延迟)

系统功能:

  • app:启动/退出/重启/隐藏/取消隐藏/切换/列出应用
  • clipboard:读/写剪贴板(文本/图片/文件)
  • dialog:点击/输入/选择文件/关闭/列出系统对话框
  • dock:启动/右键/隐藏/显示/列出 Dock 项目
  • menu:点击/列出应用菜单及菜单附加项
  • menubar:列出/点击状态栏项目
  • open:增强版打开,支持指定应用与 JSON 载荷
  • space:列出/切换/移动窗口(Spaces)
  • visualizer:演示 Peekaboo 视觉反馈动画
  • window:关闭/最小化/最大化/移动/调整大小/聚焦/列出窗口

视觉功能:

  • see:带注释的 UI 映射、快照 ID、可选分析

全局运行时参数

  • --json/-j、--verbose/-v、--log-level <level>
  • --no-remote、--bridge-socket <path>

快速上手(推荐路径) peekaboo permissions peekaboo list apps --json peekaboo see --annotate --path /tmp/peekaboo-see.png peekaboo click --on B1 peekaboo type "Hello" --return

常见定位参数(多数交互命令)

  • 应用/窗口:--app、--pid、--window-title、--window-id、--window-index
  • 快照定位:--snapshot(来自 see 的 ID;默认最新)
  • 元素/坐标:--on/--id(元素 ID)、--coords x,y
  • 焦点控制:--no-auto-focus、--space-switch、--bring-to-current-space、--focus-timeout-seconds、--focus-retry-count

常见捕获参数

  • 输出:--path、--format png|jpg、--retina
  • 定位:--mode screen|window|frontmost、--screen-index、--window-title、--window-id
  • 分析:--analyze "prompt"、--annotate
  • 捕获引擎:--capture-engine auto|classic|cg|modern|sckit

常见运动/输入参数

  • 计时:--duration(拖动/滑动)、--steps、--delay(输入/滚动/按键)
  • 拟人化运动:--profile human|linear、--wpm(打字)
  • 滚动:--direction up|down|left|right、--amount <ticks>、--smooth

示例

See -> click -> type(最可靠的流程) peekaboo see --app Safari --window-title "Login" --annotate --path /tmp/see.png peekaboo click --on B3 --app Safari peekaboo type "user@example.com" --app Safari peekaboo press tab --count 1 --app Safari peekaboo type "supersecret" --app Safari --return

按窗口 ID 定位 peekaboo list windows --app "Visual Studio Code" --json peekaboo click --window-id 12345 --coords 120,160 peekaboo type "Hello from Peekaboo" --window-id 12345

截图 + 分析 peekaboo image --mode screen --screen-index 0 --retina --path /tmp/screen.png peekaboo image --app Safari --window-title "Dashboard" --analyze "Summarize KPIs" peekaboo see --mode screen --screen-index 0 --analyze "Summarize the dashboard"

实时捕获(运动感知) peekaboo capture live --mode region --region 100,100,800,600 --duration 30
--active-fps 8 --idle-fps 2 --highlight-changes --path /tmp/capture

应用与窗口管理 peekaboo app launch "Safari" --open https://example.com peekaboo window focus --app Safari --window-title "Example" peekaboo window set-bounds --app Safari --x 50 --y 50 --width 1200 --height 800 peekaboo app quit --app Safari

菜单、菜单栏、Dock peekaboo menu click --app Safari --item "New Window" peekaboo menu click --app TextEdit --path "Format > Font > Show Fonts" peekaboo menu click-extra --title "WiFi" peekaboo dock launch Safari peekaboo menubar list --json

鼠标与手势输入 peekaboo move 500,300 --smooth peekaboo drag --from B1 --to T2 peekaboo swipe --from-coords 100,500 --to-coords 100,200 --duration 800 peekaboo scroll --direction down --amount 6 --smooth

键盘输入 peekaboo hotkey --keys "cmd,shift,t" peekaboo press escape peekaboo type "Line 1\nLine 2" --delay 10

注意事项

  • 需要屏幕录制与辅助功能(Accessibility)权限。
  • 点击前建议先使用 peekaboo see --annotate 识别目标。