VideoWorld 是一个探索“从无标注原始视频中学习知识”的深度生成模型。与当前主流的大语言模型（LLM）主要从文本学习不同，VideoWorld 尝试仅依靠视觉输入获取复杂知识，包括任务规则、推理和规划能力。研究团队构建了视频围棋和机器人操作两个实验环境，收集纯视觉训练数据，并采用 VQ-VAE 加自回归 Transformer 的架构，以“下一 token（或下一帧）预测”范式进行训练。测试时，模型根据先前帧生成新帧，并从中推导出围棋落子或机器人操作等任务动作。
主要能力与关键发现：
- 仅视频训练即可提供足够信息来学习知识，包括规则、推理和规划能力。
- 提高视觉表征的紧凑性可显著提升学习效率。 为此，团队提出潜在动态模型（LDM）作为 VideoWorld 的关键组件，将未来视觉变化压缩为一组潜在编码，作为多步视觉上下文的紧凑表示。训练时模型同时预测视频帧和潜在编码，从而更好地捕捉和推理物体交互、场景动态等多样视觉信息。
在围棋任务中，VideoWorld 仅用 3 亿参数模型，在 Video-GoBench 上达到 5 段专业水平，且不依赖搜索算法或强化学习中的奖励机制。在机器人任务中，VideoWorld 有效学习多样化控制操作，并跨环境泛化，在 CALVIN 和 RLBench 上接近 oracle 模型表现。
使用方式：项目页面提供了代码、数据和模型的开放源代码，供进一步研究。用户可访问 https://maverickren.github.io/VideoWorld.github.io/ 获取详细信息。具体安装命令、依赖和运行步骤，项目页面中暂未提供，需查阅开源仓库。
适用场景：
- 研究视频生成模型的知识学习能力。
- 从纯视觉数据中学习任务规则、推理和规划。
- 视频围棋对弈（Video-GoBench 基准）。
- 机器人操作控制与跨环境泛化。
- 作为探索视觉知识获取的基准和工具。
限制：
- 当前实验局限于围棋和机器人操作两个环境。
- 模型性能受视觉表征紧凑性影响，冗余表示会降低学习效率。
- 详细安装、使用步骤及参数配置暂未在提供的资料中说明。
