用途:面向 macOS 原生 GUI 应用的桌面自动化技能,通过截图感知界面,再用鼠标与键盘执行操作。适用于无 API 可用的本地应用(如微信、飞书、Figma 等)。网页任务应优先用浏览器工具,文件读写与代码执行用内置工具。
准备:每个任务开始时运行一次 bash <skill_dir>/scripts/init.sh,将输出路径记为 CU_DIR。初始化会检测 Retina 缩放因子并写入 _cu_scale、编译 Swift CGEvent 滚动工具 _cu_scroll、安装截图脚本 _cu_snap.sh,并打印当前可见进程名。依赖或屏幕几何读取失败时应停止,不要猜缩放系数。
主要能力:截图与裁剪、鼠标单击/双击/右键、滚动、输入文字、按键、激活应用、通过 Accessibility 元素名点击 UI 元素。
常用命令:"$CU_DIR"/_cu_snap.sh out.png 截全屏,加 W H x y 参数裁剪;"$CU_DIR"/_cu_scroll x y amount 滚动(amount 小于 0 向下);cliclick c:960,490 单击;osascript 通过 System Events 操作进程。
使用方式:按“截图→定位→操作→等待→再截图确认”的循环推进。定位优先用 AX 元素名,其次用截图坐标;裁剪后需把裁剪起点加回。中文输入需先 pbcopy 再用 command+v 粘贴,避免乱码。聊天类应用输入框会抢占键盘焦点,滚动必须用 _cu_scroll,不能用 End 或 PageDown 键。激活应用用 activate,不要用 set frontmost to true。
限制:多显示器需分别核对坐标映射,当前脚本不保证任意跨屏坐标正确;临时目录可能被清理,工具失效需重新初始化;不应擅自扩大屏幕访问范围。未提供的收费、平台或效果信息暂无。