SuperAPI AI 工具集

lingbot-world

LingBot-World 是一个开源世界模型项目,基于视频生成技术实现高保真环境模拟,支持长期记忆与实时交互,可生成 16 FPS 视频且延迟低于 1 秒。项目已停止积极维护,最新版本为 LingBot-World-Infinity(v2 仓库)。代码基于 Wan2.2 构建,提供模型权重、推理脚本及 4bit 量化版本,适用于内容创作、游戏和机器人学习等场景。

访问官网

工具介绍

LingBot-World 是一个开源世界模拟器,源自视频生成技术,定位为顶级世界模型。项目已发布 LingBot-World-Infinity,原仓库不再积极维护,后续更新移至 https://github.com/Robbyant/lingbot-world-v2。

用途与定位 LingBot-World 作为开源世界模型,旨在缩小开源与闭源技术之间的差距,赋能社区在内容创作、游戏、机器人学习等领域的实际应用。

主要能力

  1. 高保真与多样化环境:在写实、科学场景、卡通风格等广泛环境中保持高保真度和稳健动态。
  2. 长期记忆与一致性:支持分钟级时间范围,同时保持上下文一致性(即长期记忆)。
  3. 实时交互与开放访问:支持实时交互,以 16 帧/秒生成时延迟低于 1 秒。提供代码和模型的公开访问。
  4. 模型版本:LingBot-World-Base (Cam)、LingBot-World-Base (Act)、LingBot-World-Fast(支持 KV 缓存加速因果推理,分块处理视频帧)。
  5. 量化版本:社区提供 4bit 量化版 LingBot-World-Base (Cam),降低显存消耗,仅用于推理,视觉保真度和时间一致性可能略有下降。

使用方式 代码基于 Wan2.2 构建,需参考其文档安装。步骤包括:克隆仓库、安装依赖、安装 flash_attn、通过 huggingface-cli 或 modelscope-cli 下载模型。推理前需准备控制信号(可选,可从视频用 ViPE 生成):intrinsics.npy(形状 [num_frames, 4],值为 [fx, fy, cx, cy])和 poses.npy(形状 [num_frames, 4, 4],OpenCV 坐标下的变换矩阵)。提供多种参考推理脚本,使用 torchrun 运行,支持 480P/720P 分辨率,可通过 --frame_num 调整帧数(如 961 生成 16 FPS 一分钟视频),显存不足时可用 --t5_cpu 降低内存。LingBot-World-Fast 提供 generate_fast.py 及 run_fast.sh 脚本。

时间线 2026年1月29日:发布技术报告、代码和模型。 2026年3月2日:发布 LingBot-World-Base (Act) 模型权重。 2026年4月2日:发布 LingBot-World-Fast 模型权重。 2026年4月7日:发布 LingBot-World-Fast 推理脚本。 2026年4月10日:发布 LingBot-World-Base (Act) 用户友好脚本。

限制 原仓库不再积极维护;量化模型仅用于推理且可能质量下降;使用需一定 GPU 资源。

许可 Apache 2.0 许可证。