GameNGen 是一种完全由神经模型驱动的游戏引擎，目标是实现与复杂环境的实时交互，并能在长时间轨迹中保持高质量输出。它由 Google 推出，论文标题为“Diffusion Models Are Real-Time Game Engines”，即“扩散模型就是实时游戏引擎”。
用途 GameNGen 用于交互式模拟经典游戏《DOOM》。它能够在单个 TPU 上以每秒超过 20 帧的速度运行，并通过神经模型生成游戏画面，而非依赖传统游戏引擎的图形渲染管线。其下一帧预测达到 PSNR 29.4，与有损 JPEG 压缩相当。在人类评审测试中，评审者区分短游戏片段与模拟片段的准确率仅略高于随机猜测。
主要能力
- 实时交互：可在单个 TPU 上以 20+ FPS 交互式模拟 DOOM。
- 高质量长轨迹生成：支持在长时间交互中保持视觉稳定。
- 下一帧预测：PSNR 达 29.4，画质接近有损 JPEG。
- 高逼真度：人类评审区分真实片段与模拟片段的表现仅略好于随机猜测。
使用方式（训练流程） GameNGen 分两个阶段训练： 第一阶段，一个 RL-agent 学习玩该游戏，训练过程被记录下来，形成动作与观察的训练数据。由于无法大规模收集人类游戏数据，因此先训练自动 RL-agent 进行游玩。 第二阶段，训练一个扩散模型，根据过去帧和动作序列生成下一帧。
关键技术细节 条件增强：为缓解推理过程中的自回归漂移，训练时对编码帧加入高斯噪声来破坏上下文帧。这使网络能够纠正先前帧中采样的信息，对长时间保持视觉稳定性至关重要。 潜在解码器微调：Stable Diffusion v1.4 的预训练自编码器将 8x8 像素块压缩为 4 个潜在通道，在预测游戏帧时会产生明显伪影，影响小细节，尤其是底部栏 HUD。为利用预训练知识并提升图像质量，研究仅使用针对目标帧像素计算的 MSE 损失来训练潜在自编码器的解码器。
适用场景 适用于 AI 驱动的游戏引擎研究、扩散模型实时生成、交互式环境模拟等方向。
限制 目前资料仅说明其在 DOOM 上的表现，未提供对其他游戏、其他平台或更广泛应用的说明。官方未提供收费、价格、商用等信息。
