用途:在用户本机控制 macOS 桌面应用,完成点击、输入、读取屏幕、滚动、拖拽文件等操作。工具为 Kortix 开源的 agent-click CLI,命令通过 Agent Tunnel 在本地执行。GitHub:https://github.com/kortix-ai/agent-click,文档:https://www.agent-click.dev/。
主要能力:打开应用、截图快照、按引用或选择器点击(含双击)、输入文本、按键、滚动与 scroll-to、读取内容与 get-value、窗口移动/缩放/列举、拖拽、等待元素与验证。Electron 应用(Slack、Cursor、VS Code、Discord)自动检测并支持无头操作。输出均为 JSON。
使用方式:先检查隧道与安装状态,未装则安装: TUNNEL=$OPENCODE_CONFIG_DIR/skills/KORTIX-system/agent-tunnel/tunnel.ts bun run "$TUNNEL" status bun run "$TUNNEL" shell '{"command":"agent-click","args":["--version"]}' bun run "$TUNNEL" shell '{"command":"npm","args":["install","-g","agent-click"],"timeout":60000}' 所有命令经 tunnel shell 调用,例如快照:bun run "$TUNNEL" shell '{"command":"agent-click","args":["snapshot","-a","Safari","-i","-c"]}'。核心循环为 snapshot→identify→act→verify。
规则与限制:操作前必须先快照,操作后必须重新快照(引用会过期);优先使用 @e 引用与 id= 选择器;快照加 -i -c;导航后等待 2-3 秒;输入后可用 get-value 验证;一次只做一个动作;输入优先 type -s @ref(AXSetValue),而非 -a App(键盘模拟);知道元素时用 scroll-to;拖拽需应用获焦且源与目标可见。常见问题:元素找不到需重新快照;选择器歧义加 index=;点击无效试 --count 2 或先 scroll-to;Electron 首次运行会自动以 CDP 重启约 5 秒。仅适用于 macOS 桌面环境。