HunyuanVideo-1.5

HunyuanVideo-1.5 是腾讯混元团队开源的轻量级视频生成模型，主打在仅 8.3B 参数下实现高质量视频生成，可在消费级 GPU 上运行，旨在降低视频生成的使用门槛。

一、主要用途 该模型是一个统一的视频生成框架，支持文本生成视频（T2V）和图像生成视频（I2V），覆盖多种时长和分辨率。它面向开发者与创作者，提供实现视频生成所需的代码与工具。

二、核心能力

1. 轻量高性能架构：采用 8.3B 参数的 Diffusion Transformer（DiT）结合 3D 因果 VAE，空间维度压缩比 16 倍，时间轴压缩比 4 倍。创新的 SSTA（Selective and Sliding Tile Attention）机制可剪枝冗余时空 kv 块，降低长视频序列的计算开销，据称 10 秒 720p 视频合成相较 FlashAttention-3 实现约 1.87 倍端到端加速。
2. 视频超分辨率增强：通过高效少步超分辨率网络将输出提升至 1080p，增强清晰度并修正失真。
3. 端到端训练优化：采用多阶段渐进式训练策略，结合 Muon 优化器加速收敛，整体提升运动连贯性、美学质量和人类偏好对齐。
4. 文本理解：通过 glyph-aware 文本编码增强双语理解能力。

三、版本更新要点

• 2025 年 12 月 23 日：支持 fp8 gemm 推理。
• 2025 年 12 月 5 日：发布 480p I2V 步数蒸馏模型，支持 8 或 12 步生成（推荐），RTX 4090 端到端生成时间减少 75%，单卡 75 秒内可生成视频；蒸馏模型质量与原模型相当。启用方式为在 generate.py 中加 --enable_step_distill 参数；也可尝试 4 步（更快但质量略降）。同日开源训练代码（train.py）与 LoRA 微调脚本，训练管线支持分布式训练、FSDP、上下文并行、梯度检查点等，使用 Muon 优化器。
• Diffusers 支持：已在 Hugging Face Diffusers 上线。
• 2025 年 11 月 27 日：支持缓存推理（deepcache、teacache、taylorcache）。
• 2025 年 11 月 24 日：支持 deepcache 推理。
• 2025 年 11 月 20 日：发布推理代码与模型权重。

四、使用方式

1. 硬件要求：支持 CUDA 的 NVIDIA GPU，启用模型 offloading 时最低显存 14 GB；显存充足时可关闭 offloading 以提升速度。
2. 软件要求：Linux 系统，Python 3.10 或更高版本，CUDA 版本需与 PyTorch 安装匹配。
3. 安装步骤：克隆仓库，安装基础依赖；可选安装 Flash Attention 加速推理并降低显存占用；稀疏注意力需安装 flex-block-attn（git clone https://github.com/Tencent-Hunyuan/flex-block-attn.git，cd flex-block-attn，git submodule update --init --recursive，python3 setup.py install）；启用 SageAttention 需克隆 https://github.com/cooper1637/SageAttention.git 并安装，注意启用 SageAttention 会自动禁用 Flex-Block-Attention；启用 fp8 gemm 需 pip install sgl-kernel==0.3.18。
4. 下载预训练模型：详见 checkpoints-download.md。
5. 推理：运行 generate.py，可通过 IMAGE_PATH=none 进行文生视频或提供图像路径进行图生视频；可用 --nproc_per_node 指定 GPU 数量（如 --nproc_per_node=8 使用 8 张 GPU）。
6. 提示词增强：默认启用（--rewrite 默认为 true），可设置 --rewrite false 或 --rewrite 0 禁用；建议使用 Gemini 或通过 vLLM 部署的模型，代码库目前仅支持兼容 vLLM API 的模型。T2V 推荐使用 Qwen3-235B-A22B-Thinking-2507，配置 T2V_REWRITE_BASE_URL 与 T2V_REWRITE_MODEL_NAME；I2V 推荐使用 Qwen3-VL-235B-A22B-Instruct，配置 I2V_REWRITE_BASE_URL 与 I2V_REWRITE_MODEL_NAME。未配置 vLLM 端点时，管线不进行远程重写。
7. Diffusers 使用：可通过 Diffusers 库轻松调用，建议安装 kernels（pip install kernels）以获得预构建注意力内核。
8. 训练与微调：train.py 提供完整训练管线，需将 create_dummy_dataloader() 替换为自己的实现，数据集 getitem 方法应返回单个样本；必需字段包括 "pixel_values"（torch.Tensor，视频为 [C, F, H, W] 或图像为 [C, H, W]，像素值范围 [-1, 1]，视频时间维 F 必须为 4n+1，如 1、5、9、13、17 等）、"text"（字符串，文本提示词）、"data_type"（字符串）。

五、适用场景与限制 适用场景：开发者与创作者在消费级 GPU 上进行视频生成、研究、二次开发与微调，包括文生视频、图生视频及通过 ComfyUI、Diffusers、LightX2V 等社区集成使用。 限制：需要 Linux 系统和 NVIDIA CUDA GPU；最低显存 14 GB（启用 offloading）。蒸馏模型和稀疏注意力模型在文档发布时仍为“即将推出”状态，需关注 Hugging Face Model Card 更新。cfg 蒸馏模型必须使用 50 步才能生成正确结果。部分社区集成由社区维护，质量与兼容性未在资料中说明。定价与收费信息暂未提供。