SuperAPI AI 工具集

HunyuanVideo-Training

HunyuanVideo-Training 是一个用于训练 HunyuanVideo 视频生成模型的轻量级框架,由开发者 spacepxl 在 GitHub 上开源。它旨在提供简单、易读、易修改的单文件训练脚本,类似于 diffusers 的示例训练脚本,但针对视频模型进行了优化。该框架默认配置使用少于 16 GB 显存(目标为 24 GB 以下),并可在 Windows 上原生运行。为实现低显存需求,扩散模型通过 bitsandbytes 量化为 nf4(类似 QLoRA),文本嵌入预先计算,而潜在变量则实时编码以减少过拟合。它支持图像和视频文件,需要配套的 .txt 字幕文件。用户需先下载模型并缓存文本嵌入,然后运行训练脚本。该工具主要面向希望自行调整训练代码的用户,不提供全面支持。代码采用 MIT 许可证,但 HunyuanVideo 模型受腾讯社区许可证约束。

访问官网

工具介绍

HunyuanVideo-Training 是一个用于训练 HunyuanVideo 视频生成模型的轻量级框架,托管在 GitHub 上。它并非一个全面的全能训练器,而是一个最小化框架,旨在支持简单的单文件训练脚本,风格类似于 diffusers 的示例训练脚本。其设计目标是易于阅读和修改,避免过多抽象,同时具备足够的优化,使得用户无需租用云端计算资源即可进行训练。

主要能力方面,该框架默认配置使用少于 16 GB 的显存(目标为 24 GB 以下),并可在 Windows 上原生运行。为实现这一目标,扩散模型通过 bitsandbytes 量化为 nf4(类似于 QLoRA),文本嵌入被预先计算,而潜在变量则实时编码,以减少过拟合并便于处理更大的数据集。它支持图像和视频文件,字幕应为与媒体文件同名的 .txt 文件。训练数据应放在 /train 目录,验证数据放在 /val、/validation 或 /test 目录,子文件夹会被递归扫描。如果没有提供验证集,验证将回退到训练集,但不推荐这样做。

使用方式上,用户需要先激活虚拟环境(Windows 上可使用 launch_venv.bat),然后下载模型(或指定 --pretrained_model 指向已有模型文件夹),并缓存文本嵌入。训练时,默认分辨率在桶中随机化,帧长度基于上下文长度预算设置,起始帧随机选择。默认 --token_limit 为 10000,适合 < 16 GB 显存,在 3090 上约 30 秒/步。提高 token 限制会增加内存和时间。可选设置 --resolution 禁用分辨率桶并使用方形裁剪,--num_frames 设置帧数上限。对于图像到视频训练,使用 --skyreels_i2v 加载 skyreels 模型并使用第一帧作为图像条件。可通过 --warped_noise 启用 Go With The Flow 的扭曲噪声,但适应时间更长,更适合通用适配器训练而非角色/风格 LoRA,且需要大型数据集。保存的 LoRA 检查点为 diffusers 格式,如需与原始腾讯模型或 ComfyUI 一起使用,需进行转换,可选将 LoRA 数据类型转换为 bf16 或 fp16 以减小文件大小。

适用场景主要是希望自行调整训练代码、进行 HunyuanVideo 模型微调或 LoRA 训练的用户,尤其是那些对 diffusers 近期视频模型从单文件训练脚本转向 finetrainers 感到不满的开发者。限制方面,该工具不提供全面支持,主要供作者自用,分享给愿意尝试训练代码的用户。代码采用 MIT 许可证,但 HunyuanVideo 模型受腾讯社区许可证约束。