ABot-World(仓库路径 amap-cvlab/ABot-World)是一个在单台桌面 GPU 上实现无限交互式世界推演(Infinite Interactive World Rollout)的项目。项目口号为“Infinite Interactive World Rollout on a Single Desktop GPU”。
用途与定位 该项目将单张 NVIDIA RTX 5090 桌面 GPU 用作实时交互式世界模拟器,面向需要持续探索、实时响应用户动作而非被动播放视频的场景。其核心能力是动作条件(action-conditioned)驱动的世界推演,用户动作可实时影响世界状态,从而支持开放式互动探索,而非固定时长的视频生成。
主要能力 根据项目说明,其关键特性包括:
- 动作驱动的世界控制:实时响应用户动作,支持连续探索。
- 实时桌面推理:在单张 NVIDIA RTX 5090 上达到 720p、16 FPS,延迟约 1.2 秒,显存占用约 19GB。
- 无限世界推演:支持开放式交互式世界生成,突破固定视频长度限制。
- 开放式世界想象:通过 LongForcing 训练,在推演中扩展新场景与动态,避免场景锁定,且无需切换提示词。
版本与资源发布记录(按仓库列出的日期)
- 2026-09-08:Docker 环境镜像上线 Docker Hub 与阿里云容器镜像服务。
- 2026-08-15:发布实验性 24 小时不间断推演演示。
- 2026-08-03:发布 500 小时训练数据集。
- 2026-07-22:发布 ABot-World-0 技术报告。
- 2026-07-13:ABot-World 上线 Reactor。
- 2026-07-10:宣布将开源含准确动作标注的 500 小时视频训练数据集。
- 2026-07-09:发布因果学生模型 ABot-World-0-5B-LF、推理代码、本地 Gradio 演示及在线 playground ABot World Studio。
安装与运行方式 项目测试环境为:Ubuntu 22.04、CUDA 12.8、Python 3.12、NVIDIA RTX 5090;常见硬件与环境问题见 FAQ.md。
方式一:Docker(推荐) 提供预构建环境镜像,镜像仅包含运行环境,仓库与检查点在运行时挂载。
- Docker Hub:docker.io/amapcvlab/abot-world:v0-env(原有 docker.io/amapcvlab/abot-world:v0-env 地址)
- 阿里云容器镜像服务(中国推荐)
- 也可自行构建:bash docker/build.sh;构建选项、卷挂载与故障排查见 docker/README.md。
方式二:手动安装 主要步骤包括:克隆仓库;创建 conda 环境;安装 PyTorch(CUDA 12.8);安装 FlashAttention(如遇 glibc 版本问题可参考 flash-attention#1708);从源码安装 SageAttention(按 SageAttention 官方说明);安装 Python 依赖;安装 lightx2v_kernel;下载检查点(可使用 HuggingFace 或 ModelScope);下载完成后项目应具有对应的检查点结构。检查点路径配置在 configs/long_forcing_dmd.yaml 与 configs/default_config.yaml 中;蒸馏生成器权重已合并到 ABot-World-0-5B-LF/diffusion_pytorch_model.safetensors。可通过命令选择指定 GPU。
许可与致谢 项目以 Apache License 2.0 发布,相关版权与第三方归属见 LICENSE、NOTICE、THIRD_PARTY_NOTICES.md。项目构建并受以下开源项目启发:Causal Forcing、AngelSlim、LightX2V、taehv、Wan2.2、Helios,其中 wan/modules/helios_kernels 中的优化 Triton RoPE 与归一化内核即源自这些项目。
适用场景与限制 适用场景:单卡桌面环境下的实时交互式世界模拟与研究,包括动作驱动探索、开放式场景推演等。 限制与注意事项:官方测试环境为 Ubuntu 22.04、CUDA 12.8、Python 3.12、NVIDIA RTX 5090;其他硬件与环境兼容性见 FAQ.md,资料未提供更广泛的硬件兼容说明。Docker 镜像仅含运行环境,仓库与检查点需运行时挂载。检查点需单独下载,具体路径与配置以仓库配置文件为准。项目未在资料中说明收费、价格或商业服务信息。
引用与联系 仓库提供了论文引用格式,并设有微信群联系方式。更多细节以仓库 README 与相关文档为准。