SuperAPI AI 工具集

Agent-S

Agent S 是 Simular 推出的开源计算机使用智能体框架,能够像人一样操作真实图形界面,通过鼠标、键盘和屏幕完成自然语言任务,无需 API 集成或逐应用脚本。其第三代 Agent S3 是首个在 OSWorld 基准上超越人类表现(72.60%)的计算机使用智能体,支持 macOS、Windows 和 Linux,并兼容 OpenAI、Anthropic 及开放权重模型。

访问官网

工具介绍

Agent S 是 Simular 开发的开源计算机使用智能体(computer use agent)框架。它接收自然语言任务,观察屏幕,并通过点击、输入和滚动等操作在普通桌面和 Web 应用中完成任务,无需 API 集成,也无需为每个应用单独编写脚本。

主要能力:

  • 像人一样操作真实 GUI:使用鼠标、键盘和屏幕,在桌面和 Web 应用中执行任务。
  • 跨平台支持:可在 macOS、Windows 和 Linux 上运行。
  • 模型兼容性:支持 OpenAI、Anthropic、Gemini、Open Router、vLLM 等模型,并需要 grounding 模型(推荐 UI-TARS-1.5-7B)。
  • 性能表现:Agent S3 在 OSWorld 基准上达到 72.60%,首次超越人类水平(约 72%);在 WindowsAgentArena 和 AndroidWorld 上也展现出强零样本泛化能力。
  • 本地代码执行环境(可选):可执行 Python 和 Bash 代码,用于数据处理、文件操作、系统自动化等任务。

使用方式:

  • 安装:可通过 pip 安装(不克隆仓库),或克隆仓库后安装。需额外执行 brew install tesseract 以支持 Pytesseract。
  • API 配置:在 .bashrc(Linux)或 .zshrc(macOS)中添加环境变量。
  • 运行:使用命令行参数指定主模型、grounding 模型及其 URL、坐标分辨率等。例如,UI-TARS-1.5-7B 需设置 --grounding_width 1920 --grounding_height 1080。
  • 代码集成:可导入 AgentS3 和 OSWorldACI 类,定义引擎参数后查询智能体。
  • 本地编码环境:通过 --enable_local_env 启用,但会执行任意代码,需谨慎使用。

适用场景:

  • 研究操作系统智能体。
  • 自动化个人桌面任务。
  • 参与开源计算机使用项目。
  • 重复性工作流自动化(可通过 Simular 云平台或 API 实现)。

限制与注意事项:

  • 仅支持单显示器屏幕。
  • 智能体运行 Python 代码控制计算机,需谨慎使用。
  • 本地编码环境会以用户权限执行任意代码,仅应在可信环境中使用。
  • Bash 脚本执行有 30 秒超时限制。
  • 部分高级功能(如 Simular 云平台、API)为托管服务,具体收费和可用性暂未提供。