SuperAPI AI 工具集

mira

MIRA 是一个实时世界模型,以 5B 参数的潜在扩散模型逐帧生成《火箭联盟》4 名玩家的同步视角视频,实现完整 2v2 对局可在模型内以 20 FPS 单 GPU 游玩。该仓库是技术报告的官方代码发布,由 General Intuition、Kyutai 与 Epic Games 合作完成。使用需 pixi 与 torch >= 2.8。数据集提供每帧视频、键盘动作与游戏状态,托管于 HuggingFace Hub。支持多 GPU 与单 GPU 运行,编解码器训练需 DINOv3-L/16 权重。

访问官网

工具介绍

MIRA 是《火箭联盟》的实时世界模型:一个 5B 参数的潜在扩散模型根据全部四名玩家的动作逐帧生成视频,因此完整的 2v2 对局可以在模型内以单 GPU 20 FPS 进行游玩。可在 mira-wm.com 实时游玩。

这是技术报告《MIRA: Multiplayer Interactive World Models with Representation Autoencoders》的官方代码发布,由 General Intuition、Kyutai 与 Epic Games 合作完成。

用途与能力:MIRA 面向多人交互式世界建模,能够根据四名玩家的同步动作实时生成游戏画面,支持在模型内部进行完整的 2v2 比赛。技术路线为潜在扩散模型结合表示自编码器。

数据:每个样本是 2v2 对局中一个 4 秒窗口,采集自全部四名玩家的同步视角。对于每个视角的每一帧,数据集提供视频帧、玩家的键盘动作以及游戏状态(球、车辆和比分)。完整数据集位于 HuggingFace Hub(见数据集卡片)。可交互探索(4 人网格、键盘叠加层、使用游戏状态的自顶向下全局视图)。

使用方式:需要 pixi 和 torch >= 2.8(会自动安装)。scripts/ 下的入口点是 Hydra 应用——可通过 key=value 覆盖任意配置键。多 GPU 运行通过 torchrun;单 GPU 也可运行。编解码器训练使用冻结的 DINOv3-L/16 编码器,其权重受 Meta 门控。从 DINOv3 页面下载 dinov3_vitl16_pretrain_lvd1689m-8aa4cbdd.pth 并设置 RS_DINO_WEIGHTS_DIR=/path/to/weights。世界模型训练和推理不需要它。

许可:Apache License 2.0——见 LICENSE。

适用场景:游戏 AI 研究、世界模型研究、交互式模拟、实时视频生成、多智能体动作条件生成。

限制:编解码器训练依赖 Meta 门控的 DINOv3 权重,需自行下载并配置;世界模型训练与推理不需要该权重。实时游玩需要访问 mira-wm.com 或自行搭建环境。具体硬件要求除“单 GPU 20 FPS”外暂未提供。