SuperAPI AI 工具集

ABot-World

ABot-World 是面向单台桌面 GPU 的实时交互式世界模拟器项目,由 ABot-World Team 发布。其目标是在一张 NVIDIA RTX 5090 桌面显卡上实现无限、动作条件驱动的世界推演:支持 720p 分辨率、16 FPS、约 1.2 秒延迟、约 19GB 显存占用。项目强调动作驱动的世界控制、实时桌面推理、无限世界推演和开放式场景想象,并采用名为 LongForcing 的训练方法,在推演过程中扩展新场景与动态,避免场景锁定且无需切换提示词。仓库提供推理代码、本地 Gradio 演示、在线 playground、因果学生模型 ABot-World-0-5B-LF、技术报告、双向教师模型、500 小时动作标注视频训练数据集以及 Docker 环境镜像等资源。项目采用 Apache License 2.0 许可,构建于多个开源项目之上。

访问官网

工具介绍

ABot-World(仓库路径 amap-cvlab/ABot-World)是一个在单台桌面 GPU 上实现无限交互式世界推演(Infinite Interactive World Rollout)的项目。项目口号为“Infinite Interactive World Rollout on a Single Desktop GPU”。

用途与定位 该项目将单张 NVIDIA RTX 5090 桌面 GPU 用作实时交互式世界模拟器,面向需要持续探索、实时响应用户动作而非被动播放视频的场景。其核心能力是动作条件(action-conditioned)驱动的世界推演,用户动作可实时影响世界状态,从而支持开放式互动探索,而非固定时长的视频生成。

主要能力 根据项目说明,其关键特性包括:

  • 动作驱动的世界控制:实时响应用户动作,支持连续探索。
  • 实时桌面推理:在单张 NVIDIA RTX 5090 上达到 720p、16 FPS,延迟约 1.2 秒,显存占用约 19GB。
  • 无限世界推演:支持开放式交互式世界生成,突破固定视频长度限制。
  • 开放式世界想象:通过 LongForcing 训练,在推演中扩展新场景与动态,避免场景锁定,且无需切换提示词。

版本与资源发布记录(按仓库列出的日期)

  • 2026-09-08:Docker 环境镜像上线 Docker Hub 与阿里云容器镜像服务。
  • 2026-08-15:发布实验性 24 小时不间断推演演示。
  • 2026-08-03:发布 500 小时训练数据集。
  • 2026-07-22:发布 ABot-World-0 技术报告。
  • 2026-07-13:ABot-World 上线 Reactor。
  • 2026-07-10:宣布将开源含准确动作标注的 500 小时视频训练数据集。
  • 2026-07-09:发布因果学生模型 ABot-World-0-5B-LF、推理代码、本地 Gradio 演示及在线 playground ABot World Studio。

安装与运行方式 项目测试环境为:Ubuntu 22.04、CUDA 12.8、Python 3.12、NVIDIA RTX 5090;常见硬件与环境问题见 FAQ.md。

方式一:Docker(推荐) 提供预构建环境镜像,镜像仅包含运行环境,仓库与检查点在运行时挂载。

  • Docker Hub:docker.io/amapcvlab/abot-world:v0-env(原有 docker.io/amapcvlab/abot-world:v0-env 地址)
  • 阿里云容器镜像服务(中国推荐)
  • 也可自行构建:bash docker/build.sh;构建选项、卷挂载与故障排查见 docker/README.md。

方式二:手动安装 主要步骤包括:克隆仓库;创建 conda 环境;安装 PyTorch(CUDA 12.8);安装 FlashAttention(如遇 glibc 版本问题可参考 flash-attention#1708);从源码安装 SageAttention(按 SageAttention 官方说明);安装 Python 依赖;安装 lightx2v_kernel;下载检查点(可使用 HuggingFace 或 ModelScope);下载完成后项目应具有对应的检查点结构。检查点路径配置在 configs/long_forcing_dmd.yaml 与 configs/default_config.yaml 中;蒸馏生成器权重已合并到 ABot-World-0-5B-LF/diffusion_pytorch_model.safetensors。可通过命令选择指定 GPU。

许可与致谢 项目以 Apache License 2.0 发布,相关版权与第三方归属见 LICENSE、NOTICE、THIRD_PARTY_NOTICES.md。项目构建并受以下开源项目启发:Causal Forcing、AngelSlim、LightX2V、taehv、Wan2.2、Helios,其中 wan/modules/helios_kernels 中的优化 Triton RoPE 与归一化内核即源自这些项目。

适用场景与限制 适用场景:单卡桌面环境下的实时交互式世界模拟与研究,包括动作驱动探索、开放式场景推演等。 限制与注意事项:官方测试环境为 Ubuntu 22.04、CUDA 12.8、Python 3.12、NVIDIA RTX 5090;其他硬件与环境兼容性见 FAQ.md,资料未提供更广泛的硬件兼容说明。Docker 镜像仅含运行环境,仓库与检查点需运行时挂载。检查点需单独下载,具体路径与配置以仓库配置文件为准。项目未在资料中说明收费、价格或商业服务信息。

引用与联系 仓库提供了论文引用格式,并设有微信群联系方式。更多细节以仓库 README 与相关文档为准。