SuperAPI AI 工具集

android-device-automation

通用与其它

查看项目

更新于 10-16 07:22

技能介绍

用途:通过 Midscene 以视觉方式自动化 Android 设备,完全基于截图识别与操作,不依赖 DOM 或无障碍标签,适合需要跨应用、无源码或无障碍信息不足的 UI 自动化场景。

主要能力:单次 act 调用内可完成点击、双击、长按、输入、清空文本、滚动/滑动、下拉刷新、拖拽、双指缩放、按键以及 Back/Home/最近任务等系统导航。命令包括 connect、launch、runadbshell、take_screenshot、act、assert、record start、tap --locate、disconnect、report-tool。assert 可校验当前屏幕是否满足自然语言条件,支持 --message 自定义错误、--image/--image-name 参考图比对(需 1.9.0+)。record 用于捕获 toast、加载条、动画等瞬时状态,输出 JSON manifest 与相邻帧图片目录。

使用方式:需配置 MIDSCENE_MODEL_API_KEY、MIDSCENE_MODEL_NAME、MIDSCENE_MODEL_BASE_URL、MIDSCENE_MODEL_FAMILY 环境变量或 .env。常用模型有 Doubao Seed 2.0 Lite、Qwen 3.5、Zhipu GLM-4.6V、Gemini-3-Pro、Gemini-3-Flash。命令须同步执行、一次只跑一条,典型约 1 分钟。可用 --device-id 指定设备,--use-scrcpy 加速截图。建议先用 ADB 将目标应用切到前台,再截图确认后自动化。

限制:命令无状态,需按连接、启动、截图、动作、断言、断开流程执行;不可后台运行或串联命令;录制需前台运行并以 Ctrl+C 停止;报告需用 report-tool 转换后供其他工具消费。未提供收费、价格与平台支持等细节。