SuperAPI AI 工具集

burner-phone

智能体与模型

查看项目

更新于 10-16 09:29

技能介绍

用途:通过 ADB 控制 Android 设备,借助视觉反馈实现看屏、截图、分析 UI 元素与手机任务自动化,适用于任何涉及手机屏幕或移动应用自动化的请求。

主要能力:截图、点击、滑动、输入文本、发送按键事件、启动应用。

使用方式(视觉反馈循环):

  1. 截图:bash(cmd="adb exec-out screencap -p > ./assets/screen.png")
  2. 分析:bash(cmd="python3 ./scripts/vision_helper.py ./assets/screen.png "Describe the screen and list coordinates (x,y) for interactable elements."")
  3. 执行:bash(cmd="adb shell input tap <x> <y>")
  4. 验证:再次截图确认操作生效。

可用命令: 点击:bash(cmd="adb shell input tap <x> <y>") 滑动:bash(cmd="adb shell input swipe <x1> <y1> <x2> <y2> <duration_ms>") 输入文本:bash(cmd="adb shell input text 'your text here'") 按键:bash(cmd="adb shell input keyevent KEYCODE_HOME")、bash(cmd="adb shell input keyevent KEYCODE_BACK")、bash(cmd="adb shell input keyevent KEYCODE_ENTER") 启动应用:bash(cmd="adb shell am start -n com.package.name/.MainActivity")

规则:操作前必须截图,绝不猜测坐标;必须使用 vision_helper.py 获取坐标;严格使用视觉工具提供的坐标;所有路径均相对于技能根目录。

限制:仅支持 Android;需 ADB 连接设备;坐标依赖视觉模型输出;未提供收费、价格或平台支持信息。