用途:通过 ADB 控制 Android 设备,借助视觉反馈实现看屏、截图、分析 UI 元素与手机任务自动化,适用于任何涉及手机屏幕或移动应用自动化的请求。
主要能力:截图、点击、滑动、输入文本、发送按键事件、启动应用。
使用方式(视觉反馈循环):
- 截图:bash(cmd="adb exec-out screencap -p > ./assets/screen.png")
- 分析:bash(cmd="python3 ./scripts/vision_helper.py ./assets/screen.png "Describe the screen and list coordinates (x,y) for interactable elements."")
- 执行:bash(cmd="adb shell input tap <x> <y>")
- 验证:再次截图确认操作生效。
可用命令: 点击:bash(cmd="adb shell input tap <x> <y>") 滑动:bash(cmd="adb shell input swipe <x1> <y1> <x2> <y2> <duration_ms>") 输入文本:bash(cmd="adb shell input text 'your text here'") 按键:bash(cmd="adb shell input keyevent KEYCODE_HOME")、bash(cmd="adb shell input keyevent KEYCODE_BACK")、bash(cmd="adb shell input keyevent KEYCODE_ENTER") 启动应用:bash(cmd="adb shell am start -n com.package.name/.MainActivity")
规则:操作前必须截图,绝不猜测坐标;必须使用 vision_helper.py 获取坐标;严格使用视觉工具提供的坐标;所有路径均相对于技能根目录。
限制:仅支持 Android;需 ADB 连接设备;坐标依赖视觉模型输出;未提供收费、价格或平台支持信息。