TurboDiffusion

TurboDiffusion 是 thu-ml 团队发布的视频生成加速框架，旨在显著提升扩散模型的端到端生成速度。根据官方说明，它在单张 RTX 5090 上可实现 100 至 200 倍的加速，同时保持视频质量。其技术核心包括 SageAttention、SLA（Sparse-Linear Attention，稀疏线性注意力）用于注意力加速，以及 rCM 用于时间步蒸馏。相关论文为《TurboDiffusion: Accelerating Video Diffusion Models by 100-200 Times》。

用途与适用场景 TurboDiffusion 主要面向视频扩散模型的加速推理与训练。它支持 Wan2.1 和 Wan2.2 系列模型的文本生成视频（T2V）和图像生成视频（I2V）任务。所有检查点支持生成 480p 或 720p 视频。该框架适合希望在有限硬件资源下快速生成视频的研究者与开发者，也提供训练代码以支持自定义训练。

主要能力

• 提供 100-200 倍端到端扩散生成加速，基于 SageAttention 和 SLA 注意力加速以及 rCM 时间步蒸馏。
• 支持 Wan2.1-T2V-1.3B、Wan2.1-T2V-14B、Wan2.2-I2V-A14B 等模型，提供量化与非量化检查点。
• 提供推理脚本，用于 T2V 和 I2V 模型。
• 支持通过终端进行交互式推理（turbodiffusion/serve/），无需重新加载模型即可多轮生成视频。
• 提供基于 Wan2.1 和合成数据的训练代码，训练构建在 rCM 代码库之上，支持 FSDP2、Ulysses CP、选择性激活检查点（SAC）。
• 提供 SLA 白盒训练，通过将启用 SLA 的模型预测与全注意力预训练模型对齐，减少分布偏移。
• 提供 ComfyUI 社区集成 Comfyui_turbodiffusion。
• turbot2va 目录提供 LTX-2 文本到音频视频蒸馏与推理，使用独立环境，不修改主运行时。

使用方式与安装 基础环境要求：python>=3.9，torch>=2.7.0，推荐 torch==2.8.0（更高版本可能导致 OOM）。 可通过 pip 安装 TurboDiffusion，或从源码编译。 若要启用 SageSLA（基于 SageAttention 的快速 SLA 前向传播），需先安装 SpargeAttn。 对于显存超过 40GB 的 GPU（如 H100），请使用非量化检查点（不带 -quant），并在命令中移除 --quant_linear。对于 RTX 5090、RTX 4090 等 GPU，请使用量化检查点（带 -quant），并在命令中添加 --quant_linear。 需下载 VAE（适用于 Wan2.1 和 Wan2.2）和 umT5 文本编码器检查点。下载命令示例： mkdir checkpoints cd checkpoints wget https://huggingface.co/Wan-AI/Wan2.1-T2V-1.3B/resolve/main/Wan2.1_VAE.pth wget https://huggingface.co/Wan-AI/Wan2.1-T2V-1.3B/resolve/main/models_t5_umt5-xxl-enc-bf16.pth 量化模型检查点下载示例：

For Wan2.1-T2V-1.3B

wget https://huggingface.co/TurboDiffusion/TurboWan2.1-T2V-1.3B-480P/resolve/main/TurboWan2.1-T2V-1.3B-480P-quant.pth

For Wan2.2-I2V-14B

wget https://huggingface.co/TurboDiffusion/TurboWan2.2-I2V-A14B-720P/resolve/main/TurboWan2.2-I2V-A14B-high-720P-quant.pth wget https://huggingface.co/TurboDiffusion/TurboWan2.2-I2V-A14B-720P/resolve/main/TurboWan2.2-I2V-A14B-low-720P-quant.pth 非量化模型检查点下载示例：

For Wan2.1-T2V-1.3B

wget https://huggingface.co/TurboDiffusion/TurboWan2.1-T2V-1.3B-480P/resolve/main/TurboWan2.1-T2V-1.3B-480P.pth

For Wan2.2-I2V-14B

wget https://huggingface.co/TurboDiffusion/TurboWan2.2-I2V-A14B-720P/resolve/main/TurboWan2.2-I2V-A14B-high-720P.pth wget https://huggingface.co/TurboDiffusion/TurboWan2.2-I2V-A14B-720P/resolve/main/TurboWan2.2-I2V-A14B-low-720P.pth 使用 T2V 模型的推理脚本或 I2V 模型的脚本进行生成。

训练 训练代码基于 Wan2.1 和合成数据，构建在 rCM 代码库（https://github.com/NVlabs/rcm）之上。对于 rCM/SLA 训练，需额外运行相关步骤。需下载 Wan2.1 预训练检查点（.pth 格式）和 VAE/文本编码器到 assets/checkpoints。FSDP2 依赖分布式检查点（DCP）加载和保存，训练前需将 .pth 教师检查点转换为 .dcp。训练后，保存的 .dcp 检查点可使用 scripts/dcp_to_pth.py 转换为 .pth。提供 Wan2.1-14B 合成数据集，下载到 assets/datasets。SLA 训练采用白盒方式，将 SLA 模型预测与全注意力预训练模型对齐。单节点训练示例可参考 turbodiffusion/rcm/configs/experiments/sla/wan2pt1_t2v.py（14B 配置）或根据需要修改。SLA 训练的参数更新可使用 turbodiffusion/scripts/merge_models.py 合并到 rCM 检查点，指定 --base 为 rCM 模型、--diff_base 为预训练模型、--diff_target 为 SLA 微调模型。

限制与说明 当前模型仅使用长英文提示词训练。如果使用其他类型的提示词，请进行增强以获得更好性能。检查点和论文尚未最终确定，后续将更新以提升质量。基础环境要求 python>=3.9，torch>=2.7.0，推荐 torch==2.8.0，更高版本可能导致 OOM。

未来计划 团队正在积极开发以下功能：整理并发布训练代码；优化基础设施以支持扁平化上下文并行；为 MiniMax-H3 提供加速；vLLM-Omni 集成；支持自回归视频生成模型。