SuperAPI AI 工具集

HunyuanVideo

HunyuanVideo 是腾讯开源的大规模视频生成基础模型,采用统一图像与视频生成架构,参数量超过 130 亿。项目提供 PyTorch 模型定义、预训练权重与推理/采样代码,支持文本到视频、图像到视频等生成任务,并持续发布 HunyuanVideo-1.5、HunyuanVideo-Avatar、HunyuanCustom、HunyuanVideo-I2V 等衍生模型。模型采用因果 3D VAE 压缩时空潜空间,以多模态大语言模型作为文本编码器,并支持提示词改写。推理需 NVIDIA GPU 与 CUDA 环境,显存要求较高,官方给出单卡及多卡并行方案。

访问官网

工具介绍

HunyuanVideo 是腾讯开源的大型视频生成基础模型项目,仓库包含 PyTorch 模型定义、预训练权重以及推理/采样代码,可作为研究与应用的视频生成基座。

用途方面,HunyuanVideo 面向文本到视频生成,并可扩展至图像到视频、音频驱动人物动画与定制化视频生成等任务。官方将其定位为开源视频基础模型,目标是在视频生成性能上接近或超过领先的闭源模型。

主要能力与架构特点:模型采用统一的图像和视频生成架构,基于 Transformer 设计并使用全注意力机制,采用“双流到单流”的混合模型设计:双流阶段分别处理视频 token 和文本 token,单流阶段将二者拼接进行多模态信息融合。文本编码使用预训练的多模态大语言模型(Decoder-Only 结构),相较 CLIP 和 T5-XXL 在图文对齐、细节描述和复杂推理方面具有优势,并引入额外的双向 token refiner 增强文本特征。视频与图像通过 CausalConv3D 训练的 3D VAE 压缩到紧凑潜空间,视频长度、空间和通道压缩比分别为 4、8、16。模型还提供提示词改写模型,基于 Hunyuan-Large 微调,支持 Normal 和 Master 两种改写模式,可提升对用户意图的理解或增强构图、光照、镜头运动等描述。

使用方式:仓库提供命令行单卡推理、Gradio Web 演示、基于 xDiT 的多 GPU 并行推理(Unified Sequence Parallelism)以及 FP8 量化权重推理,FP8 可节省约 10GB 显存。安装需从仓库克隆代码,推荐手动安装使用 CUDA 12.6 或 11.8,也提供预构建 Docker 镜像。预训练模型权重需单独下载。

适用场景:适合视频生成研究、模型微调与二次开发、多模态生成实验,以及通过社区集成在 ComfyUI 等工具中进行推理。社区贡献包括 ComfyUI-Kijai、ComfyUI-Native、FastVideo、HunyuanVideo-gguf、TeaCache、RIFLEx、FramePack 等。

限制:运行需要支持 CUDA 的 NVIDIA GPU,官方在单张 80G GPU 上测试;最低显存要求为 720px×1280px×129f 需 60GB,544px×960px×129f 需 45GB,推荐 80GB 显存以获得更好生成质量,测试操作系统为 Linux。评估对比基于高质量版本,与当前发布的快速版本不同。部分具体命令行参数、支持的宽高帧设置等细节在资料中未完整展示,暂未提供。