Nano World Model 是一个极简、开箱即用的代码库,目标是推进世界模型(World Model)科学研究。它基于 diffusion-forcing 方法训练视频世界模型,整体设计强调最小依赖、易于数据加载,号称从克隆仓库到第一次 rollout 只需几分钟。项目于 2026 年 5 月发布了技术报告(arxiv)、全部模型检查点(Hugging Face)以及训练、推理和评估代码。
主要能力方面,该仓库提供统一流水线,涵盖训练、验证与评估,全部通过清晰的 Hydra 配置系统管理。它注重科学透明度,代码库干净,支持跨预测目标、动作注入和模型规模进行直接对照的消融实验,且完全开源,包括模型检查点。其应用场景多样,开箱即用地支持长时程 rollout、将 rollout 转换为三维点云,以及基于 MPC(模型预测控制)的规划。
使用方式上,可先尝试 Colab 快速入门 notebook,下载官方 Point Maze 检查点并与记录的验证帧并排预览预测结果;选择 GPU 运行时后运行所有单元,notebook 使用下方相同的锁定配置。需先安装 uv。支持的 Linux x86_64 环境使用单一提交锁来管理 Python、PyTorch、CUDA 轮子和所有依赖,环境设置与验证参见相关文档。对于锁定的 RT-1/LeRobot 依赖,运行 ./nanowm sync --extra rt1 ;注意不要安装 lerobot-datasets,它是数据集格式版本而非 PyPI 包。随后可设置数据与结果路径,或使用被 git 忽略的 src/configs/local/paths.yaml 模板。FVD 评估所需的 i3d torchscript 需要下载,FID 使用的 InceptionV3 会在首次使用时自行下载。数据集(DINO-WM、RT-1、CSGO)的下载方式参见 docs/datasets/README.md 。
训练示例包括:DINO-WM PushT 使用 NanoWM-B/2 与默认设置(pred-v、additive injection、cosine + ZTSNR);CSGO 使用 L/2 模型;RT-1(fractal)主运行。为便于复现,src/scripts/ 提供了示例脚本,完整训练指南、设计选择与消融表见 docs/training.md 。仓库还提供最佳配置运行的预训练检查点,以及 RT-1 消融表和对应的 Hugging Face 检查点路径。
样例预测方面,包含 CSGO 50 帧自回归长 rollout(NanoWM-L/2,100k)。定量指标在 256 个固定样本(seed=42)、250 步 DDIM、顺序调度(逐帧自回归去噪)上评估,按域的完整数字与方法论见 docs/evaluation.md 。NanoWM rollout 可直接用于下游应用,包括长时程生成、视频到三维重建和 MPC 风格规划:长时程 rollout 从训练检查点自回归生成;视频到三维地图使用 Depth Anything 3 点云重建;MPC 风格规划在 world model rollout 上进行 CEM 规划。
文档目录包括:docs/config_system.md(Hydra 配置布局、覆盖项、环境变量)、docs/training.md(训练工作流、设计选择、消融表、所有检查点)、docs/evaluation.md(评估工作流、指标定义、完整结果表)、docs/datasets/README.md(DINO-WM / RT-1 / CSGO 格式、下载、划分)、docs/applications/planning.md(MPC + CEM 模型预测控制)、docs/applications/long_rollout.md(长时程自回归 rollout)、docs/applications/video_to_3d.md(Depth Anything 3 点云流水线)。
项目建立在多个现有代码库之上,包括 Latte、Vid2World、DFoT 和 DINO-WM,并从 NanoGPT、NanoChat 和 Boyuan Chen 的研究模板中汲取设计灵感。若该仓库对研究有帮助,可考虑引用。
限制或未提供的信息:资料未说明具体收费、许可证细节、支持的操作系统范围(仅提及支持的 Linux x86_64 环境)、最低硬件要求以及除 Point Maze、DINO-WM PushT、CSGO、RT-1 之外的数据集支持情况,这些暂未提供。