Matrix-Game-3.5 是一个记忆增强的交互式世界模型，专注于 720p 长时程、相机可控的视频生成，同时支持第一人称和第三人称模式。其核心目标是在实时流式交互场景中，实现长时间跨度下的场景一致性与精确的相机控制。
主要能力方面，项目引入了三项关键技术。第一，Patch Memory 与 Warped PRoPE 构成一个无参数的长期几何记忆框架：Patch Memory 将过去的观测提升到 3D 记忆中，通过几何对齐和可见性感知检索实现跨视角场景回忆；Warped PRoPE 将相机投影矩阵折叠进时空 RoPE，联合建模时间关系与视角几何，从而在不修改主干网络的前提下提供长时程一致性和精确相机控制。第二，静态-动态解耦世界表示：静态场景通过 Patch Memory 保持长期几何记忆，动态主体则由轻量级多视角参考令牌维护身份与外观；结合运动感知过滤和无泄漏主体训练，统一了几何一致性与主体一致性，缓解长时程生成中的重影和身份漂移。第三，长时程实时蒸馏：从双向扩散模型到少步因果生成器，在感知特征空间中使用 Flow Matching 联合学习自回归去噪和少步生成作为强初始化，然后通过课程式自展开 DMD 逐步蒸馏 CFG、相机控制和记忆条件，实现分钟级、少步、实时的交互式生成。
模型方面，目前提供两个预训练的 5B 基础（双向）模型，均基于 Wan2.2-TI2V-5B 构建，可在 Matrix-Game-3.5-Base Hugging Face 仓库获取。标准三步第一人称因果检查点位于 Matrix-Game-3.5-Distilled。
使用方式上，基础模型推理使用 infer.py，需要锚点图像、相机轨迹和文本提示；第三人称推理可选接受主角参考裁剪图。结果输出到 outputs/{first_person,third_person}/<timestamp>/ 目录，包含 result.mp4（生成视频）、memory_visualization.mp4（诊断双行面板：生成 | 马赛克记忆）和 subject_ref_preview.jpg（第三人称主角参考画布）。蒸馏因果推理使用 infer_distilled.py，配合标准三步第一人称因果检查点，遵循与基础模型相同的显式图像/相机/提示接口，无需训练运行、验证产物、清单或附属元数据。详细输入契约和完整命令行接口见 DISTILLED_INFERENCE.md，单块冒烟测试可使用 configs/infer_distilled.yaml。相机格式（--camera）为 .npz 文件，包含 extrinsics_c2w（N,4,4 相机到世界矩阵，度量平移）和 intrinsics（N,4 的 [fx,fy,cx,cy]，或 (4,)/(3,3)/(N,3,3)，以锚点图像像素为单位）。短于 1 + 84 × num_blocks 个位姿的轨迹通过保持最后一个位姿进行填充。
环境要求：需要一块 NVIDIA GPU，显存 ≥ 40 GB（已测试 A/H 系列）；704×1280 生成峰值约 40 GB。Linux 操作系统，内存 ≥ 64 GB。仓库包含若干第三方组件：基于 DiffSynth 的模型/流水线库（diffsynth/）、用于 Mosaic Memory 的视锥重投影引擎（frustum/）以及 Depth-Anything-3 源码（third_party/depth-anything-3/）。所有 Python 依赖固定在 requirements.txt 中，无需额外手动构建（无需编译 flash-attention）。捆绑的第三方源码已内置在仓库中并直接从源码导入，无需额外安装或编译步骤。
检查点放置：选择基础或蒸馏 Matrix-Game 检查点之一。Wan2.2-TI2V-5B 和 Depth-Anything-3 是两种推理路径的共享依赖。将下载的文件放置或符号链接到 checkpoints/ 下。自定义位置可通过 --wan-dir、--tokenizer-dir 和 --da3-dir 参数指定；基础推理接受 --ckpt，蒸馏推理需要显式 --checkpoint。共享依赖路径也可通过 WAN22_TI2V_5B_DIR、UMT5_TOKENIZER_DIR 和 DA3_MODEL_PATH 环境变量设置。
适用场景包括需要长时程一致性和相机可控性的交互式视频生成研究，例如第一人称或第三人称视角的虚拟世界探索、实时流式内容生成等。限制方面，需要较高硬件配置（≥40 GB 显存的 NVIDIA GPU、≥64 GB 内存的 Linux 系统），且目前提供的模型规模为 5B。项目采用 Apache License 2.0 许可，samples/first_person/ 下的捆绑资源来自 SANA-WM-Bench（CC BY 4.0）。
