用途:当目标应用不以浏览器页面、本地 Windows 应用或本地 Java 应用形式暴露,而位于远程会话中或自行绘制控件时,使用本技能按像素探索屏幕,并生成可复用流程。可优先考虑 exploring-browser、exploring-windows、exploring-java 的场景,则不应使用本技能。
主要能力:通过 robomotion-image-mcp 服务器读取屏幕,使用 OCR 与框检测识别文字与控件;以截图、文本快照、屏幕搜索等方式定位目标;支持点击、输入、发送按键、悬停、拖拽、滚动、选择并复制、等待等操作;支持读取文本与表格;每一步会记录为 Robomotion.ImageAutomation 节点,并围绕目标裁剪模板图像,用包自带匹配器验证其在整个屏幕上唯一,操作也由包自带代码用该模板执行。完成后得到操作序列,再由 creating-flow 转换为 main.ts。
使用方式:工具在 Claude Code 中为延迟加载,首次调用前需用 ToolSearch 选择所需工具,否则会发送格式错误的 JSON 并在本次会话中丢失服务器。典型循环:先用 image_status 和 image_list_windows 找到窗口,再 image_focus_window 聚焦并确定作用域;用 image_snapshot 获取屏幕文本,配合 screenshot=true 查看标注框;用 image_click、image_type、image_send_keys 等以 ref 或文本、坐标执行操作;需要时用 image_wait 等待;最后 image_end 返回记录序列,可与 flow_file 一起写出模板图像。image_settings 可调整等待超时等参数。
适用场景与限制:模板是像素,仅在屏幕绘制方式一致时匹配,因此机器人运行时需保持相同的分辨率、显示缩放、色深、字体平滑设置和应用主题,远程窗口应最大化或全屏,运行流程时不要最小化远程桌面窗口,否则 Windows 停止绘制,无法看到或点击。快照由 OCR 和像素生成,可能误读、漏掉图标或控件,屏幕变化后需重新快照。探索阶段只读,点击具有提交含义的目标会被拒绝,必要时需征得用户同意。不要猜测坐标;若服务器显示失败,应说明二进制缺失或不在 PATH。具体版本、发布与依赖细节请以官方资料为准,本资料未提供价格、平台支持范围等信息。