GamingAgent 由 lmgame-org 维护，相关论文标记为 [ICLR 2026]，主题是 LLM/VLM 游戏智能体以及通过游戏进行模型评估。仓库同时提供论文、排行榜、图库和官方网站入口。
主要功能
项目包含两大核心特性：
- 在多样化的视频游戏套件中，以朴素单模型 VLM 设置（不使用游戏 harness）评估前沿模型。
- 使用其定制的 GamingAgent 工作流（gaming harness）部署和评估模型，以提升模型的游戏表现。 此外，仓库还提供一种便捷方案，用于部署在你的 PC 和笔记本上运行的电脑使用智能体（CUA）进行游戏。
支持的模型
项目目前支持基于以下模型的游戏智能体：
- OpenAI：o4-mini、o3-mini、o3、o1、gpt-4o、gpt-4o-mini
- Anthropic：claude-4-opus、claude-4-sonnet（含思考模式）、claude-3-7-sonnet（含思考模式）、claude-3-5-haiku、claude-3-5-sonnet
- Gemini：gemini-2.5-pro、gemini-2.5-flash、gemini-2.0-flash-thinking-exp、gemini-2.0-pro、gemini-2.0-flash、gemini-1.5-pro
- xAI：grok-3-mini
- Deepseek：reasoner (R1)、chat (V3) 可查看排行榜对比各模型表现。需在 credentials.sh 中设置 API 密钥后自行测试模型；项目提示使用高端模型评估或部署智能体可能产生较高费用。
游戏环境与设置
项目按照 Gymnasium 标准化游戏环境接口。当前评估套件包含多个基于 gym 环境的游戏，大多数游戏开箱即可运行，无需额外设置。
- Pokemon Red：需将 ROM 文件（pokemon.gb）放入 gamingagent/configs/custom_06_pokemon_red/rom/；项目使用 pyboy 作为 Game Boy 模拟器将其接入 gymnasium 环境。
- Retro 环境：Stable Retro 支持通过 Gymnasium 提供经典游戏模拟的标准接口。运行 Retro 实现的经典游戏需合法获取游戏文件并按说明导入。当前评估套件包含 Super Mario Bros 1985 等 Retro 环境游戏。
- 额外集成的 Retro 环境（无需 retro.import）：如 Ace Attorney: Phoenix Wright，只需将 ROM 文件放入指定目录即可启用。
使用方式
- 克隆仓库并安装依赖。
- 并行启动某模型在不同游戏上的多个评估实例，或并行评估多个模型。
- 评估模型在游戏智能体（支持 gaming harness）中的表现。
- run.py 会启动多个 single_agent_runner.py 实例；单模型单游戏可运行：python3 lmgame-bench/single_agent_runner.py --game_name {game_name} --model_name {model_name} --config_root_dir {path_to_gaming_agent_config} (--harness)。
- 在 gamingagent/configs/{game_env_dir}/config.yaml 调整游戏智能体相关配置；提示词位于 gamingagent/configs/{game_env_dir}/module_prompts.json。
- 可通过 lmgame_bench_evaluation colab 或评估 notebook 复现论文中的性能分析，也可将生成的缓存目录上传至 colab 工作区以可视化模型表现。
- 可根据 agent 配置文件和性能缓存中的回合日志，为 Sokoban、2048、Tetris、Candy Crush 游戏生成回放视频（使用文本表示）。
- 支持电脑使用游戏智能体在本地 PC 和笔记本上实时运行前沿模型，详见 computer_use 目录说明。
添加自己的游戏
可按照 Gymnasium（自研游戏实现）或 Stable Retro（已有经典游戏）的说明，用标准化接口集成游戏环境。具体做法是：在 gamingagent/envs 中实现 observation making 与 agent action processing 方法，将游戏环境与 LLM/VLM 游戏智能体对接；并在 configs 中添加智能体配置，使智能体与环境正确交互。更详细说明见 gamingagent/envs。
引用
若该仓库有帮助，可按 [ICLR 2026] LLM/VLM gaming agents and model evaluation through games 引用。
更新记录
- [2025/6] Lmgame Bench 正式发布。
- [2025/3] 构建游戏智能体并在经典视频游戏上测试不同模型。
