SuperAPI AI 工具集

Oasis

Oasis 是由 Decart 与 Etched 联合发布的首个可交互、实时、开放世界 AI 模型,于 2024 年 10 月 31 日公布。它接收用户键盘输入并实时生成游戏体验,物理、规则和画面全部由 AI 生成,没有传统物理引擎,仅依赖一个基础模型。用户可以在其中移动、跳跃、拾取物品、破坏方块等,模型能理解建筑、光照物理、物品栏管理、物体交互等复杂内部机制。Oasis 以 20 帧/秒实时输出,模型由空间自编码器和潜在扩散骨干两部分组成,均为 Transformer 架构。官方已发布代码、可本地运行的 5 亿参数模型权重,以及更大检查点的在线演示。

访问官网

工具介绍

Oasis 是由 Decart 和 Etched 共同推出的首个可体验、实时、开放世界的 AI 模型,定位为完全由 AI 生成的交互式视频体验。官方称其为“Transformer 中的宇宙”,是迈向更复杂交互世界研究的第一步。

用途方面,Oasis 接收用户的键盘输入并实时生成游戏内容,涵盖物理、规则和图形。用户可以移动、跳跃、拾取物品、破坏方块等,整个过程不依赖物理引擎,仅由基础模型驱动。模型能理解建筑、光照物理、物品栏管理、物体理解等复杂内部机制。

主要能力包括:放置非立方体方块、理解光照物理、与动物互动、吃东西恢复生命值、用铲子比用手更快等。Oasis 还能输出多样化的场景、地点和物体,这种通用性让官方相信,经过有限额外训练,Oasis 可以适配生成大量新地图、体验、功能和修改内容。

技术架构上,模型由两部分组成:空间自编码器和潜在扩散骨干,二者都基于 Transformer,自编码器基于 ViT,骨干基于 DiT。与 GameNGen、DIAMOND 等动作条件下的世界模型不同,Oasis 选择 Transformer 以确保稳定可预测的扩展,并在 Etched 的 Transformer ASIC(Sohu)上快速推理。不同于 Sora 等双向模型,Oasis 自回归生成帧,每一帧都能以用户输入为条件,从而实现实时交互。模型使用 Diffusion Forcing 训练,以独立的每 token 噪声水平去噪,支持新颖的解码方案。

为保障长时间范围内的时序稳定性,官方采用了动态噪声调度:在推理时按计划调整噪声,在最初的扩散前向传播中注入噪声以减少误差累积,后续逐步去噪,使模型能保留前帧的高频细节,提升一致性。

性能方面,Oasis 以 20 帧/秒实时输出。当前同类 DiT 架构的先进文本转视频模型(如 Sora、Mochi-1、Runway)即使在多 GPU 上,生成一秒视频也可能需要 10 到 20 秒;而 Oasis 必须每 0.04 秒生成一帧,速度快 100 倍以上。借助 Decart 的推理栈,模型达到实时帧率,首次实现实时交互性。

硬件方面,Oasis 针对 Etched 的 Transformer ASIC(Sohu)优化。Sohu 可扩展到 100B+ 参数的下一代模型,支持 4K 分辨率。Oasis 的端到端 Transformer 架构在 Sohu 上极其高效,即使在 100B+ 参数模型上也能服务超过 10 倍的用户。

官方同时发布了 Oasis 的代码、可本地运行的 500M 参数模型权重,以及更大检查点的在线演示。

未来探索中,官方指出模型仍存在局限:远处视频有时模糊、不确定物体的时序一致性、领域泛化、物品栏的精确控制以及长上下文困难。官方假设这些问题大多可通过扩大模型和数据集规模解决,目前正沿此方向开发并优化训练效率。