SuperAPI AI 工具集

nano-world-model

通用与其它

查看项目

更新于 10-15 23:24

技能介绍

用途:Nano World Model 是用于训练、评估和部署视频世界模型的极简仓库,基于 diffusion-forcing transformer,面向机器人操作、游戏与仿真等场景,支持长时程自回归推演、视频到 3D 重建以及基于 CEM 的 MPC 式规划。

主要能力:提供训练、评估、长时程 rollout、MPC 规划(CEM)和视频转 3D 点云等模式;支持 DINO-WM(PushT、Point Maze 等)、CSGO、RT-1 等数据集;模型变体包括 nanowm_b2 与 nanowm_l2_csgo;提供 HuggingFace 预训练检查点;评估指标含 PSNR、SSIM、LPIPS、FID。

使用方式:克隆仓库后创建 conda 环境:git clone https://github.com/simchowitzlabpublic/nano-world-model.git;cd nano-world-model;conda env create -f environment.yml && conda activate nanowm。需下载 I3D 模型用于 FID/FVD 评估,并设置 DATASET_DIR、CSGO_DATA_DIR、RT1_DATA_ROOT、RESULTS_DIR 等环境变量或 src/configs/local/paths.yaml。主入口为 src/main.py,通过 Hydra 组合配置,例如训练:python src/main.py experiment=dino_wm_pusht dataset=dino_wm/pusht model=nanowm_b2;评估加 mode=eval checkpoint_path=...;rollout 加 mode=rollout rollout.horizon=50;规划加 mode=plan planning.method=cem;视频转 3D 加 mode=video_to_3d。

适用场景:机器人操作世界模型研究、游戏与仿真环境建模、长时程预测、基于世界模型的规划与视频到 3D 重建。

限制:需自行准备数据集与路径配置;评估依赖 I3D 模型;训练可能遇到 CUDA OOM,可减小 batch size 或使用梯度累积;rollout 速度受 DDIM 步数影响。具体收费、价格与平台支持暂未提供。