AppAgent 是一个基于大语言模型（LLM）的多模态智能体框架，旨在让智能体像人类用户一样操作智能手机应用。它通过简化的动作空间（如点击、滑动）与手机应用交互，无需访问系统后端，从而适用于各类应用。智能体可通过自主探索或观察人类演示来学习使用新应用，并生成知识库以执行复杂任务。该项目由腾讯 QQGYLab 等团队开发，论文发表于 CHI 2025，代码已开源。
用途
AppAgent 的主要用途是让智能体自动操作 Android 应用，完成用户指定的任务。它模拟人类与手机应用的交互方式，如点击和滑动，因此不依赖系统后端接口，可广泛适用于各种应用。
主要能力
- 多模态理解：智能体由多模态模型驱动，可同时接收文本和视觉输入，从而理解屏幕内容并做出决策。
- 简化动作空间：智能体通过点击、滑动等基本动作操作应用，无需系统权限。
- 学习机制：智能体可通过自主探索或观察人类演示来学习应用的使用方法，并生成知识库（文档）供后续任务参考。
- 知识库复用：在部署阶段，智能体可参考之前生成的知识库执行复杂任务，提高成功率。
- 网格覆盖：可选功能，在屏幕上显示网格覆盖层，以便点击或滑动未标记数字标签的 UI 元素。
- 验证码处理：实验显示 AppAgent 具备通过 CAPTCHA 的能力。
使用方式
使用 AppAgent 需要以下步骤：
- 准备工作：在 PC 上安装 Android Debug Bridge (adb)，准备 Android 设备并启用 USB 调试，通过 USB 连接设备。若无 Android 设备，可使用 Android Studio 模拟器。克隆仓库并安装依赖（Python 3）。
- 配置智能体：修改根目录下的 config.yaml 文件，配置多模态模型。默认使用 gpt-4-vision-preview，需填写 OpenAI API key 并设置请求间隔。也可使用 qwen-vl-max（通义千问-VL），需创建阿里云账号并获取 Dashscope API key，填写 DASHSCOPE_API_KEY 并将 MODEL 字段改为 Qwen。注意 GPT-4V 非免费，每次请求/响应对约花费 0.03 美元。
- 探索阶段：运行 learn.py，选择自主探索或人类演示模式，提供应用名称和任务描述。自主探索模式下，智能体自行尝试任务并生成元素文档；人类演示模式下，用户需按提示操作，智能体记录交互元素并生成文档。
- 部署阶段：运行 run.py，输入应用名称，选择要使用的文档库，提供任务描述。智能体将自动执行任务。若无文档，也可选择无文档运行（成功率不保证）。
适用场景
AppAgent 适用于需要自动化操作 Android 应用的场景，例如自动完成特定任务、测试应用功能、辅助用户操作等。它特别适合那些无法或不便访问系统后端的应用。
限制
- 依赖多模态模型：需要配置 GPT-4V 或 qwen-vl-max 等模型，GPT-4V 需付费且成本较高。
- 性能差异：qwen-vl-max 目前免费但性能较 GPT-4V 差。
- 文档质量影响成功率：知识库的覆盖范围和准确性直接影响任务完成率，建议人工检查并修正文档。
- 平台限制：目前主要针对 Android 平台，需通过 adb 连接设备或使用模拟器。
- 项目更新：AppAgentX 已发布，为下一代 GUI 智能体，具有进化机制。
