AlayaWorld

用途

AlayaWorld 是一个全栈开源的交互式长时程世界模型，定位于「长时程且可玩的视频世界生成」（Long-Horizon and Playable Video World Generation）。它是一个带实时摄像机控制、提示词切换和长时程记忆一致性的交互式自回归世界模型，主要用于生成可交互的连续视频世界，而非单次生成的短视频片段。

主要能力

项目围绕四项核心属性构建：

• 交互（Interaction）：提供两条控制通道——渲染的 3D 缓存配合轻量 AdaLN 摄像机调制，实现有依据、轨迹感知的导航；以及块级提示词切换，可在生成过程中引入新事件。
• 一致性（Consistency）：采用两种互补记忆——显式 3D 缓存重投影到查询视角以实现空间回忆，加上压缩的帧历史嵌入维持时间连续性，使重访的地点保持可识别。
• 稳定性（Stability）：在漂移历史上进行训练，并引入错误库（error bank）将累积的伪影重新注入记忆与目标，防止误差在长达分钟级的推演中不断累积。
• 运行时（Runtime）：通过少步 DMD 蒸馏和短时间块实现实时交互，提示词切换发生在块边界，以尽量降低视觉与语义延迟。

使用方式

仓库使用统一启动器驱动训练、验证和全部四条推理路径，具体路径完全由配置选择。

环境：一个 Python 环境覆盖训练与所有推理路径（已在 torch 2.7.1 + CUDA 12.8 上验证）。权重路径位于每个配置中的 paths: 下，需指向实际下载位置；完整目录结构见 docs/vigeo/README.md。

权重：Stage1 双向权重由 DA3 版本与 v1.1 ViGeo 版本共享，两者都从同一 Stage1 检查点开始后续自回归与空间记忆阶段。Stage1 I2V 本身既不使用 DA3 也不使用 ViGeo，且不需要摄像机轨迹；后续的 AR/DMD 检查点仍各自对应其版本。

双向推理需将两个检查点文件下载到 configs/infer_i2v_bidir.yaml 期望的目录；同时将 LTX-2.3 基础模型放在 weights/ltx-2.3/ltx-2.3-22b-dev.safetensors、Gemma 放在 weights/ltx-2.3/google/gemma-3-12b-it-qat-q4_0-unquantized，或调整配置中的 paths.base_transformer、paths.vae、paths.gemma 和 paths.resume_checkpoint。Stage1 发布仅包含 transformer 及其配置，VAE 与文本编码器依赖需另行获取。

推理：四条路径使用同一种启动形式。路径 a–c 将固定摄像机轨迹渲染为文件；路径 d 生成一个双向 I2V 片段，默认基于 playground/case1，为 481 帧、960×544、24 fps（约 20 秒）。如需使用自己的图像与提示词，在 validation.modes.i2v_bidir.dataset 下设置 image_dir 和 prompt_file；captions_json 可提供逐图提示词。路径 d 不需要姿态文件或空间记忆检查点。

若要在生成运行时驱动摄像机并切换提示词，reactor/ 以浏览器演示形式将路径 a 作为实时流提供。注意：b/c/d 通过训练器的验证循环运行，因此需要 VALIDATE_ONLY=1；路径 a 直接分发到推理流水线（配置中 da3_infer.enabled），忽略该变量。vigeo 空间路径与 FA3 不兼容，若已构建 FA3 需以 ALAYA_USE_FA3=0 启动。路径 a 的完整 CLI 选项见 inference/README.md。

针对自有图像与轨迹运行 b/c，可用 scripts/infer/generate_video.sh 一步准备输入（--image/--prompt 配合 --extrinsics 或 --synth-frames）并启动 c。路径 a 的案例由共享前缀的三个文件组成。

训练：四个阶段使用同一启动器，每个阶段的 paths: 指向前一阶段的检查点。数据集下载、数据格式、各阶段细节与启动器参数见 docs/vigeo/README.md。

发布记录

• [2026-07-08] 项目页面与技术报告发布。
• [2026-07-16] 推理代码发布，预训练权重上线 Hugging Face。
• [2026-07-21] 完整技术报告发布。
• [2026-08-17] 全栈训练 + 推理代码、v1.1 权重（AR + DMD）及部分训练数据开源，附 v1.1 技术报告。
• [2026-08-20] 浏览器交互演示：可用键盘驱动摄像机并在推演中途更改提示词，边生成边流式输出，见 reactor/。
• [2026-09-26] 发布 Stage1 双向权重，由 DA3 版本与 v1.1 ViGeo 版本共享，可通过统一启动器进行图生视频推理。

权重与数据

• 预训练权重：Hugging Face AlayaLab/AlayaWorld
• 共享 Stage1 双向权重：AlayaWorld-stage1
• v1.1 预训练权重：AR 为 AlayaWorld-v1.1-stage2b，DMD 为 AlayaWorld-v1.1-stage3
• 训练数据（部分）：AlayaWorld-v1.1-data

适用场景与限制

本项目基于 Lightricks Ltd. 的 LTX-2，原 LTX-2 代码库（ltx2/）的部分内容由 Alaya Lab 为学术与研究目的修改，发布的权重（merged_infer.safetensors）由 LTX-2.3 微调而来。因此项目（代码与权重）采用 LTX-2 社区许可协议发布，保留 LTX-2 全部原有版权、许可、专利、商标与归属声明。

仅限学术研究与非商业用途。 LTX-2 及其衍生品的商业使用需联系 Lightricks Ltd.（年收入 ≥ 1000 万美元的实体需商业许可）。第三方权重（Gemma-3 文本编码器、Depth-Anything-3）不在本仓库再分发，需从其原始来源按各自许可获取。完整归属见 NOTICE 与 THIRD_PARTY_LICENSES.md。

团队与联系

核心负责人：Kaipeng Zhang；负责人：Chuanhao Li；核心贡献者：Chuanhao Li、Kaipeng Zhang、Yifan Zhan、Yongtao Ge、Yuanyang Yin；其他贡献者包括 Jiaming Tan、Kang He、Liaoyuan Fan、Mingliang Zhai、Ruicong Liu、Xiaojie Xu、Xuangeng Chu、Zhen Li、Zhengyuan Lin、Zhixiang Wang、Zian Meng、Zihui Gao。合作或商务咨询：kaipeng.zhang@shanda.com。