用途:该技能面向完全没有浏览器和 API 的桌面应用(如遗留 Java NMS 客户端、仅 Windows 的配置工具),用于读取信息、导航界面和确认状态。它驱动 OpenClaw 的 ClawHub computer-use 技能,在虚拟 X11 桌面(Xvfb + XFCE,DISPLAY=:99)上通过 xdotool 的鼠标、键盘和截图脚本操作。技能本身不含任何针对特定应用的硬编码知识,每次调用由操作者的 target_application/intent 决定。
主要能力:动作脚本包括 screenshot.sh、click.sh、type_text.sh、key.sh、scroll.sh、drag.sh、zoom.sh、wait.sh、cursor_position.sh。多数动作脚本会自动串联一张确认截图。
使用方式:先运行 ./scripts/screenshot.sh 确认虚拟桌面可用,再定位或启动目标应用,用 click/type/scroll/key 导航到 intent 所需信息,最后截图并从截图中读取数值(必要时用 zoom.sh 放大局部)。返回包含 result、screenshot_path 和 status(ok / manual_setup_required / virtual_desktop_unavailable / conflict)的对象。观看模式可本地连接 VNC localhost:5900 或 noVNC http://localhost:6080,远程查看须用 ssh -L 6080:localhost:6080 隧道,切勿直接暴露端口。
限制:黄金规则是只读、确认、搜索,绝不作为配置变更通道;遇到 Apply、Commit、Save、Deploy 之类操作应停止,改为走相应 API 技能。目标应用需要首次交互式设置时返回 manual_setup_required。虚拟桌面唯一,同一时间只能有一个任务使用。安装 quirk:openclaw skills install 写入的脚本不可执行,必要时运行 chmod +x ~/.openclaw/skills/computer-use/scripts/*.sh。无需环境变量或凭据。价格、其它平台支持等暂未提供。