用途:在真实 Android 手机上执行点击、输入、滑动、启动应用、按系统键等操作,适合多步骤 UI 测试或代理式手机自动化。强调“代理是大脑”:读取屏幕后自己决定下一步,不使用云路径、Gemini、mobilerun run 或 API 密钥。
主要能力:用 mobilerun device ui 获取可点击元素、文本、resourceId 与绝对像素 bounds;用 mobilerun device screenshot 查看布局;mr-snap.sh 生成带编号方框的截图;mr-tap.sh --bounds 或 --xy 点击;mr-type.sh 输入;mobilerun device swipe 滚动;press back|home|enter;start 启动应用;mr-wait.sh 控制停顿。
使用方式:会话开始设置 MR_DEVICE 与 SKILL 两个环境变量,然后运行 bash "$SKILL/scripts/mr-preflight.sh"。循环为捕获 mr-snap.sh、读取树或截图、点击或输入、再次捕获验证。脚本需用绝对路径调用。点击目标应依据当前快照中的文本或 resourceId 重新定位,不能沿用旧编号。屏幕变化会重建索引,因此每次操作前先重新捕获。
适用场景:Android 设备上的自动化点击、设置切换、搜索打开、多应用流程、UI 验证等。
限制:不覆盖云代理路径、Gemini、mobilerun run 或 API 密钥;长按不支持 iOS;press 仅支持 back、home、enter;建议 15–25 个捕获到操作周期内停止并报告;每次 Bash 调用只运行一个命令以避免管道吞掉退出码;文档可能过时,应以设备实际输出为准。