OSWorld 是什么 OSWorld 是一个面向多模态智能体的基准评测项目，目标是在真实计算机环境中评测智能体完成开放式任务的能力。项目论文入选 NeurIPS 2024，仓库提供环境、基准任务、评测脚本与基线智能体，便于研究者复现和比较结果。
主要能力 提供真实计算机环境（虚拟机）作为评测沙盒；包含覆盖多领域的开放式任务基准；提供可运行的基线智能体，支持纯截图等设置；支持单线程与并行执行；可输出截图、动作记录与视频，并统计按领域、类别的成功率和总分；提供手动任务检查工具，用于人工核验任务正确性与评测指标。
版本更新 2025-07-28 推出 OSWorld-Verified，修复社区反馈的多个问题，增强 AWS 支持，支持并行化以将评测时间压缩至 1 小时内，并使基准信号更有效，同时在官网更新了最新模型结果。2025-05-01 提供用于初始化状态的预下载文件。2024-10-22 支持 Docker 承载虚拟机。2024-06-15 重构环境代码，分解 VMware 集成，开始支持 VirtualBox、AWS、Azure 等平台。2024-04-11 发布论文、环境与基准。
运行方式 在非虚拟化系统（桌面、笔记本、裸金属）上，可克隆仓库并安装 requirements.txt 中的依赖，建议使用 Conda 管理环境，Python 版本需不低于 3.10；可仅安装环境而不安装基准任务；需安装 VMware Workstation Pro（Apple 芯片系统安装 VMware Fusion）并配置 vmrun 命令，也支持 VirtualBox（但并行与 Apple 芯片上的 macOS 支持可能不佳）。 在支持 KVM 的服务器上，推荐使用 Docker 支持：在 Linux 上检查 KVM 支持，macOS 主机通常不支持 KVM，建议改用 VMware；初始化 DesktopEnv 时设置 provider_name 为 docker，os_type 为 Ubuntu 或 Windows。若实验异常中断，可运行 docker stop $(docker ps -q) && docker rm $(docker ps -a -q) 清理残留容器。 也支持 Modal（VM 沙盒，运行评测时使用 --provider_name modal）与 Daytona（沙盒本身作为桌面，无需主机 KVM 或 Docker qcow2 流程）。 使用云服务并行评测可显著加速，项目提供基于 Host-Client 架构的 AWS 支持，用于大规模并行评测，甚至可作为训练基础设施。
使用方式 运行最小示例可与环境交互，观察环境创建、设置完成与动作执行日志。运行论文基线智能体（如 GPT-4o 纯截图设置）需设置 OPENAI_API_KEY，可选设置 OPENAI_BASE_URL 以使用兼容端点。支持单线程（已弃用，以 vmware provider 为例）与并行执行（示例切换 provider 为 docker）。任务所需的宿主侧凭据或密钥应在启动时注入，而非固化到虚拟机镜像中。 结果（含截图、动作与视频）保存到 ./results 或指定 result_dir，可通过命令获取按领域成功率、类别统计（Office、Daily、Professional）、总体成功率与总分，使用 --detailed 可显示各领域的紧凑“score/total”格式。 本地评测需阅读 agent 接口与环境接口，实现并导入自定义智能体到 run.py（单线程）或 scripts/python/run_multienv.py / run_multienv_xxx.py（并行）。 公开评测需与维护者预约，由对方运行智能体代码并报告结果；需上传并允许在 OSWorld 框架下披露智能体实现（可选择不公开模型 API），并提供说明报告；可信机构也可分享监控数据与轨迹。
适用场景 适用于研究者评测多模态计算机使用智能体，在真实桌面环境中执行开放式任务；用于比较不同模型或智能体方案；用于训练或大规模并行评测的基础设施；用于手动核验任务与指标。
限制与注意事项 默认虚拟机凭据：vmware、virtualbox、docker 下 Ubuntu 为 user / password；aws 等云服务默认 osworld-public-evaluation，修改后需设置 client_password 变量并传给 DesktopEnv 与 Agent。部分任务需要 Google 账号与 OAuth2.0 配置，部分任务需要代理设置，否则任务执行失败并导致评分偏低。macOS 主机通常不支持 KVM。VirtualBox 在并行与 Apple 芯片 macOS 上支持可能不佳。部分平台（如 Azure）支持正在开发中。
项目地址：https://github.com/xlang-ai/OSWorld
