用途:本技能用于控制、自动化或测试一台已连接的 Android 手机,操作包括点击、输入、滑动、读取屏幕内容等。资料明确说明该模式下不涉及云端、Gemini、mobilerun run 或 API key,这些均在范围之外,判断与决策由使用方(agent)自行完成。
主要能力:通过 mobilerun device ui 获取带索引的可点击元素树及精确像素边界,通过 device screenshot 获取截图用于理解布局或无障碍树缺失的界面,通过 adb content query 获取原始 JSON 状态。操作原语包括点击元素或坐标、长按、输入或粘贴文本、滑动滚动、设置滑块、按 back/home/enter 系统键、用 start <package> 启动应用。
使用方式:每个会话先执行一次 export MR_DEVICE=<serial> 与 export SKILL=<技能目录绝对路径>,然后运行 bash "$SKILL/scripts/mr-preflight.sh" 做预检。之后循环执行 mr-snap.sh 截图取树、由使用者决定目标、再用 mr-tap.sh --bounds、mr-type.sh、mobilerun device swipe 等执行,最后再次截图验证。脚本需用绝对路径调用,因为每次 Bash 调用是独立 shell。
适用场景与限制:适合需要真人般节奏的手机自动化与测试,建议在动作间用 mr-wait.sh 停顿、点击带抖动偏移、人类撰写内容用 --human 输入。涉及发布、发送、购买、安装卸载、退出登录等他人可见操作需先展示并等待确认。资料提醒约 15–25 个捕获到动作循环未达成目标时应停止并报告。分类依据为自动化与测试用途;具体平台版本、收费、价格、效果等事实资料未提供。