Agent S 是 Simular 开发的开源计算机使用智能体(computer use agent)框架。它接收自然语言任务,观察屏幕,并通过点击、输入和滚动等操作在普通桌面和 Web 应用中完成任务,无需 API 集成,也无需为每个应用单独编写脚本。
主要能力:
- 像人一样操作真实 GUI:使用鼠标、键盘和屏幕,在桌面和 Web 应用中执行任务。
- 跨平台支持:可在 macOS、Windows 和 Linux 上运行。
- 模型兼容性:支持 OpenAI、Anthropic、Gemini、Open Router、vLLM 等模型,并需要 grounding 模型(推荐 UI-TARS-1.5-7B)。
- 性能表现:Agent S3 在 OSWorld 基准上达到 72.60%,首次超越人类水平(约 72%);在 WindowsAgentArena 和 AndroidWorld 上也展现出强零样本泛化能力。
- 本地代码执行环境(可选):可执行 Python 和 Bash 代码,用于数据处理、文件操作、系统自动化等任务。
使用方式:
- 安装:可通过 pip 安装(不克隆仓库),或克隆仓库后安装。需额外执行 brew install tesseract 以支持 Pytesseract。
- API 配置:在 .bashrc(Linux)或 .zshrc(macOS)中添加环境变量。
- 运行:使用命令行参数指定主模型、grounding 模型及其 URL、坐标分辨率等。例如,UI-TARS-1.5-7B 需设置 --grounding_width 1920 --grounding_height 1080。
- 代码集成:可导入 AgentS3 和 OSWorldACI 类,定义引擎参数后查询智能体。
- 本地编码环境:通过 --enable_local_env 启用,但会执行任意代码,需谨慎使用。
适用场景:
- 研究操作系统智能体。
- 自动化个人桌面任务。
- 参与开源计算机使用项目。
- 重复性工作流自动化(可通过 Simular 云平台或 API 实现)。
限制与注意事项:
- 仅支持单显示器屏幕。
- 智能体运行 Python 代码控制计算机,需谨慎使用。
- 本地编码环境会以用户权限执行任意代码,仅应在可信环境中使用。
- Bash 脚本执行有 30 秒超时限制。
- 部分高级功能(如 Simular 云平台、API)为托管服务,具体收费和可用性暂未提供。