SuperAPI AI 工具集

MobileAgent

MobileAgent(Mobile-Agent)是阿里巴巴通义实验室(Tongyi Lab)开发的多平台 GUI 智能体(GUI Agent)系列项目,托管于 GitHub。该系列包含 Mobile-Agent-v1 至 v3.5 等多个版本,以及 GUI-Owl 系列原生多平台 GUI 基础模型(2B/4B/8B/32B/235B,含 Instruct 与 Thinking 版本)。其核心目标是让 AI 智能体能够像人一样操作手机、电脑和浏览器等图形界面,完成跨应用、多步骤的自动化任务。项目提供在线演示(ModelScope、阿里云百炼)、API 以及开源代码和模型权重,支持桌面、移动端和浏览器自动化,并在 20 多个 GUI 基准测试中取得 SOTA 结果。

访问官网

工具介绍

MobileAgent(Mobile-Agent)是阿里巴巴集团通义实验室(Tongyi Lab)推出的 GUI 智能体(GUI Agent)系列项目,旨在构建能够自主操作图形用户界面的 AI 智能体家族。项目托管于 GitHub,持续发布多个版本与配套模型。

【用途】 Mobile-Agent 系列用于让 AI 智能体在手机、电脑和浏览器等平台上执行多步骤的 GUI 操作任务。例如:搜索股票价格并在 WPS Office 中创建表格填入数据;在 WPS Office 中创建文档并插入从浏览器复制的图片;在携程上搜索航班和火车票并比较价格;查看小红书和抖音账号的粉丝总数等。这些示例展示了其跨应用、跨平台的自动化能力。

【主要能力】

  1. 多平台支持:覆盖桌面(PC)、移动端(Android)和浏览器自动化。
  2. 多智能体框架:Mobile-Agent-v3 是基于 GUI-Owl 的跨平台多智能体框架,提供规划(planning)、进度管理(progress management)、反思(reflection)和记忆(memory)等能力。
  3. GUI-Owl 基础模型:GUI-Owl 是多模态跨平台 GUI VLM,具备 GUI 感知、定位(grounding)和端到端操作能力。GUI-Owl-1.5 系列基于 Qwen3-VL 构建,提供 2B/4B/8B/32B/235B 参数规模,包含 Instruct 与 Thinking 版本,支持桌面/移动/浏览器自动化,在 20 多个 GUI 基准测试中取得 SOTA 结果,在端到端任务、定位、工具/MCP 调用和长时记忆方面表现强劲。
  4. 工具调用与 MCP:支持工具/MCP 调用,并发布了 OSWorld-MCP 基准用于评估真实场景下的 MCP 工具调用能力。
  5. ToolCUA:端到端 Computer Use Agent,用于优化 GUI-工具路径编排,采用两阶段训练流程(轨迹感知工具合成 → 在线智能体强化学习),掌握何时使用 GUI 操作、调用工具以及切换。
  6. 其他研究成果:UI-S1(半在线强化学习推进 GUI 自动化)、GUI-Critic-R1(术前错误诊断的 GUI 评论器)、PC-Agent(多模态 PC 操作多智能体)、Mobile-Agent-E(自进化手机操作多智能体)等。

【使用方式】

  1. 在线体验:可通过 ModelScope 在线演示或阿里云百炼(Bailian)在线演示试用 Mobile-Agent-v3.5。
  2. API:阿里云百炼提供 Mobile-Agent-v3.5 API,可查看文档快速体验;此前也提供限时免费的 Mobile-Agent-v3 API。
  3. 云手机:Mobile-Agent-v3.5 已上线阿里云无影云手机(Wuying Cloud Phone),提供云端 Android 环境。
  4. 模型权重:GUI-Owl-1.5 系列模型权重可在 HuggingFace 获取,技术报告可查阅链接。
  5. 开源代码:GUI-Owl 和 Mobile-Agent-v3 在 OSWorld、AndroidWorld 和真实移动场景的代码已开源,包括 OSWorld 的 RL 调优检查点。
  6. 在线推理:GUI-Owl-1.5 系列模型可通过阿里云百炼和 ModelScope API-Inference 进行在线推理。

【适用场景】

  • 移动端自动化:在 Android 设备上执行跨应用任务。
  • 桌面自动化:在 PC 上完成文档编辑、数据录入等操作。
  • 浏览器自动化:网页搜索、信息提取、图片复制等。
  • 研究与开发:GUI 智能体相关学术研究、基准测试、模型训练与评估。

【限制】 关于具体的收费、价格、平台兼容性细节、性能指标等,资料中未提供完整信息,暂未提供。部分功能可能依赖阿里云百炼、ModelScope 或无影云手机等特定平台。