SuperAPI AI 工具集

openclicky-guided-tutorials

办公与效率

查看项目

更新于 10-16 09:06

技能介绍

OpenClicky 引导式教程技能用于在 macOS 上,通过逐步指向可见界面元素来引导用户完成应用或系统操作流程。

用途

该技能面向引导式教程场景:当用户询问某个 macOS 或应用内的操作怎么做时,它不一次性列出全部步骤,而是先指向当前应该看的、与下一步直接相关的界面位置,并配以简短说明。

主要能力

技能通过 OpenClicky 的本地外部控制桥(基础地址 http://127.0.0.1:32123)提供以下工具面:

  • openclicky_point:将 OpenClicky 的原生光标指向一个屏幕坐标,并显示简短字幕。
  • openclicky_point_many:同时显示多个临时次要光标,用于比较或标记多个选项。
  • screenshot:截取屏幕或窗口上下文,并返回显示帧元数据。
  • show_caption:在某个点附近放置字幕。
  • show_scribble:在支持 visual_guidance.scribble 时,在当前屏幕可见内容上绘制临时手绘路径。
  • show_highlight / show_rectangle:在支持 visual_guidance.rectangle 时,在可见内容上绘制临时矩形高亮。
  • speak:通过 OpenClicky 朗读简短指令。
  • clear:清除过期的叠加标记。

兼容别名仍可用:show_cursor、show_cursors、openclicky_show_cursor、openclicky_show_cursors。

使用方式

健康检查与工具发现: curl -s http://127.0.0.1:32123/health curl -s http://127.0.0.1:32123/mcp/tools

单步指向示例: curl -s -X POST http://127.0.0.1:32123/mcp/call
-H 'Content-Type: application/json'
-d '{"tool":"openclicky_point","arguments":{"x":820,"y":760,"caption":"Click Share","durationMs":4500}}'

多工具教程序列可通过 /mcp/calls 批量调用,例如先 clear,再 speak,再 openclicky_point,最后 show_caption,并使用 delayMs 控制视觉节奏。技能说明强调:短延迟仅用于视觉节奏,不要批量编排依赖用户下一步操作的长教程,应等待、重新截图,再指向下一个真实目标。

截图驱动流程:当目标未知时,先调用 screenshot(focused: true 为当前应用,focused: false 为全部屏幕),查看返回的截图路径与显示帧,只有在可见目标与用户当前询问的下一步直接匹配时才指向,否则不指向或请用户补充上下文。用户完成一步后,若界面变化则重新截图。

坐标规则:工具调用使用 macOS/AppKit 全局屏幕坐标,原点位于全局桌面左下角;截图响应包含该坐标空间中的帧元数据。如果只有截图像素坐标,需先转换为截图显示帧再调用 openclicky_point。

教程行为规则

优先展示一个可见的下一步,而不是冗长的抽象清单。只指向与当前步骤直接相关的界面;不要因为某个控件可见就标记它。常规指向使用 openclicky_point,仅当比较或标记多个选项时使用 openclicky_point_many。speak 只用于简短语音提示,不用于长篇讲解。切换场景前先 clear。除非用户要求 OpenClicky 执行操作,否则不要点击或输入;该技能仅用于教学与指向。字幕尽量保持一到四个词。遇到安全或权限提示时,指向并解释,让用户自行确认。

适用场景

例如用户问“如何在 Mac 上通过 AirDrop 发送东西”,技能建议:若没有可见的待发送项目,先请用户选中或打开文件/照片/网页;若已有分享按钮或上下文菜单,则立即指向那里;否则说明标准路径——选中项目、使用“分享”、选择 AirDrop、选择接收方。随后按当前窗口截图、指向并朗读简短步骤,菜单出现后再截图并指向 AirDrop,AirDrop 面板出现后指向接收方,并提醒双方设备需启用 AirDrop 且彼此在附近。

限制

该技能是教学与指向工具,不会代替用户执行点击或输入,除非用户明确要求执行操作。若所需本地命令、工具、密钥或桥接端点不可用,或缺少认证、macOS 权限,应停止并报告确切的缺失设置步骤,不要循环重试,也不要静默切换到浏览器自动化。不要用隐藏文本标签伪造指向。使用涂鸦、高亮或矩形时,需先通过 /health 确认对应的 visual_guidance 能力为支持,且 show_scribble、show_highlight 或 show_rectangle 出现在 /mcp/tools 中。技能使用前需遵循 ../_shared/OpenClickySkillCompatibilityPolicy.md 的兼容性策略。发送、发布、部署、删除、移动、合并、播放列表/媒体库变更、云端写入和应用控制点击等,除非本技能进一步收窄范围,均视为外部写入。