SuperAPI AI 工具集

open-autoglm-phone-agent

智能体与模型

查看项目

更新于 10-16 07:27

技能介绍

用途:Open-AutoGLM 是开源 AI 手机智能体框架,用自然语言控制 Android、HarmonyOS NEXT 和 iOS 设备,借助 AutoGLM 视觉语言模型(9B 参数)感知屏幕内容并执行多步任务,例如“打开美团搜索附近的火锅店”。

主要能力:流程为自然语言 → AutoGLM VLM → 屏幕感知 → ADB/HDC/WebDriverAgent → 设备动作。模型可选 AutoGLM-Phone-9B(中文优化)或 AutoGLM-Phone-9B-Multilingual。模型输出结构化动作,如 Launch、Tap、Type、Swipe、Back、Home、Finish。支持第三方 API(BigModel、ModelScope)或自托管(vLLM、SGLang)。

使用方式:需 Python 3.10+、ADB/HDC/WebDriverAgent,Android 需开发者模式与 USB 调试,并安装 ADB Keyboard APK。安装:git clone https://github.com/zai-org/Open-AutoGLM.git;cd Open-AutoGLM;pip install -r requirements.txt;pip install -e .。验证:adb devices 或 hdc list targets。运行示例:python main.py --base-url http://localhost:8000/v1 --model autoglm-phone-9b "打开小红书搜索美食"。也提供 Python API(PhoneAgent、AgentConfig)与 Midscene.js 集成。

适用场景:中文应用自动化(微信、淘宝、美团)、国际应用(多语言模型)、远程 ADB(WiFi 调试)等。

限制:自托管约需 20GB 显存;vLLM/SGLang 启动参数需严格匹配,否则思维链异常;HarmonyOS 需 NEXT 版本;iOS 需按文档配置 WebDriverAgent;购买/删除等敏感操作建议 confirm_sensitive=True,登录/验证码支持人工接管。具体收费与价格暂未提供。