SuperAPI AI 工具集

LongLive

LongLive 是 NVIDIA NVlabs 发布的长视频生成与世界动作模型基础设施项目,涵盖视频生成、世界模型和具身世界动作模型相关研究。仓库中每个子项目相对独立,包含各自的代码、文档和模型权重,可按需通过稀疏检出方式只下载所需项目。主要方向包括:实时交互式长视频生成(LongLive 1.0)、面向长视频生成的 NVFP4 并行训练与推理基础设施(LongLive 2.0)、通用蒸馏方法(LongLive-Plug)、长上下文世界动作模型(Long-WAM)、检索增强长视频生成框架(LongLive-RAG)等。项目提供训练与推理代码、公开模型权重、基准评测与真机部署示例,采用 Apache License 2.0 许可发布。

访问官网

工具介绍

LongLive 是 NVIDIA NVlabs 推出的长视频生成与世界动作模型(World Action Model)基础设施仓库,研究方向覆盖视频生成、世界模型以及具身场景下的世界动作建模。仓库内各项目自包含,各自拥有独立的目录、代码、文档和模型权重,可按需通过 partial clone 与 sparse checkout 只下载所需项目,无需其他项目即可运行。

【主要项目】 Long-WAM:长上下文世界动作模型,基于 LongLive 2.0 进行机器人视频预训练,具备流式视觉记忆的长上下文机器人策略。基准测试包括 LIBERO、RoboTwin 2.0、Domino、RoboCasa GR1 和 RoboCasa365;推理支持流式 IDM/COD、可配置的 Agentic API 与图生视频演示;部署提供 RTX 5090、DGX Spark 和 AGX Thor 运行时配置,以及 YAM、Franka 和 Unitree G1 接口。 LongLive-Plug:面向视频生成的 once-for-all 蒸馏方法,将可复用能力与任务特定定制分离——在基础模型上训练功能性 LoRA,再将其挂载到兼容的下游模型上,同时保留下游模型的任务特定权重,支持 Wan2.1-14B、Wan2.2-TI2V-5B 和 MiniMax-H3。 LongLive 2.0:面向长视频生成的 NVFP4 并行基础设施。训练方面支持 T2V/I2V 自回归(AR)训练(teacher-forcing)的均衡序列并行、多镜头(或单镜头)视频上的 T2V/I2V AR 训练,以及 AR 训练与少步蒸馏中的 NVFP4(或 BF16)。推理方面支持 NVFP4 推理(W4A4)与 NVFP4 KV Cache、从 BF16 检查点进行的 TorchAO FP8 PTQ 推理(W8A8)、多镜头 attention sink、序列并行推理与异步解码。 LongLive 1.0:实时交互式长视频生成,可接收连续的用户提示并实时生成相应视频,使人在视频生成过程中持续引导长视频走向,核心思路包括 attention sink、KV-recache 和流式长时微调。 LongLive-RAG:面向长视频生成的通用检索增强框架。

【版本与功能更新(按官方发布记录)】

  • 2026.10.08:Long-WAM 论文上线 arXiv。
  • 2026.10.07:发布 Long-WAM。
  • 2026.09.28:发布 LongLive-Plug 训练与推理代码,包含覆盖 CFG 与少步蒸馏的四个配方。
  • 2026.07.08:LongLive 2.0 支持 FP8 推理。
  • 2026.06.01:发布 LongLive-RAG。
  • 2026.05.30:LongLive 2.0 支持 Wan2.2-TI2V-5B 的 I2V AR teacher-forcing 训练与 I2V DMD 蒸馏。
  • 2026.05.25:优化 NVFP4 推理路径,改进整体吞吐 18.6%。
  • 2026.05.13:发布 LongLive 2.0,支持 NVFP4、并行与多镜头 AR 训练、DMD 蒸馏与推理(45.7 FPS)。
  • 2026.04.12:支持基于 TriAttention 的 KV cache 压缩,KV 减少 50% 且质量无损。
  • 2026.01.27:LongLive 被 ICLR-2026 接收。
  • 2026.01.11:支持将原始 RoPE 适配为 KV-cache 相对 RoPE,可生成无限长视频。
  • 2025.11.03:在线性注意力模型 SANA-Video 上实现 LongLive,可实时生成 60 秒交互视频。
  • 2025.09.29:发布论文、GitHub 仓库、模型权重 LongLive-1.3B 及演示页面。

【使用方式与生态】 项目提供训练与推理代码、公开检查点(托管于 Efficient-Large-Model)、下载与推理说明,以及基准训练/评测与真机部署演示。FPS 统计按 LongLive 1.0 与 Self Forcing 协议计算扩散时间内的生成帧率,不计 VAE 解码。仓库已衍生出多个基于 LongLive 的工作,如 DreamForge-World 0.1、DreamX-World 1.0、SANA-Video(LongSANA)、Daydream Scope、MemFlow、ShotStream、Stream-T1、KVPO、LoL、TriAttention、StreamEdit、Forcing-KV、Dummy Forcing、MemRoPE、Astrolabe、OPSD-V 等。项目采用 Apache License 2.0 发布,各目录亦附带各自的许可证副本及适用的第三方声明。技术路线基于 Self-Forcing、Wan2.1、Wan2.2 与 MiniMax-H3 等基础工作。

【限制与暂未提供的信息】 官方资料未说明收费、价格、商业授权方式、面向普通用户的在线产品形态、具体硬件最低要求之外的平台支持范围、使用步骤教程细节以及非技术用户的上手方式,这些内容暂未提供。