VideoTuna 是一个用于文本到视频（Text-to-Video）应用的代码库，由 VideoVerses 维护。根据资料，它是首个集成多种 AI 视频生成模型的仓库，涵盖文本到视频（T2V）、图像到视频（I2V）、文本到图像（T2I）以及视频到视频（V2V）的生成，用于模型推理和微调；也是首个提供从微调、预训练、持续训练到后训练（对齐）的完整视频生成流水线的仓库。
主要能力：
- 一体化框架：对多种最新的预训练视频生成模型进行推理和微调。
- 持续训练：用新数据持续改进模型。
- 微调：将预训练模型适配到特定领域。
- 人类偏好对齐：利用 RLHF 与人类偏好对齐。
- 后处理：通过视频到视频增强模型来增强和校正视频。
支持情况（来自项目更新记录）：
- 2025-04-22：支持 Wan2.1 和 Step Video 推理，并以统一代码库架构支持 HunyuanVideo T2V 微调。
- 2025-02-03：通过 PR#27 支持自动代码格式化。
- 2025-02-01：迁移到 Poetry 以简化依赖和脚本管理（PR#25）。
- 2025-01-20：支持 Flux-T2I 微调。
- 2025-01-01：在 VideoVAEPlus 仓库发布 VideoVAE+ 训练；支持 Hunyuan Video 和 Mochi 推理。
- 2024-12-24：发布 VideoVAE+，据称其视频重建效果优于 NVIDIA 的 Cosmos-Tokenizer。
- 2024-12-01：支持 CogVideoX-1.5-T2V&I2V 推理以及来自 ModelScope 的视频到视频增强；支持 CogVideoX 微调。
- 2024-11-01：发布 VideoTuna v0.1.0，初始支持 VideoCrafter1-T2V&I2V、VideoCrafter2-T2V、DynamiCrafter-I2V、OpenSora-T2V、CogVideoX-1-2B-T2V、CogVideoX-1-T2V、Flux-T2I 的推理，以及 VideoCrafter、DynamiCrafter、Open-Sora 的训练/微调。
使用方式：
- 准备环境：项目说明中提到约需 3 分钟；可选安装 flash-attn（Hunyuan 模型使用它减少内存占用并加速推理，未安装则模型以普通模式运行）；可选视频到视频增强（如果命令卡住，终止并重新运行可解决）。安装 Poetry 后，在 MacOS 的 Apple Silicon 芯片上需使用 docker compose，因为部分依赖不支持 arm64（如 bitsandbytes、decord、xformers）。为保证项目文件权限需设置相应环境变量，然后安装依赖。注意安装 swissarmytransformer 可能会挂起，重试应可成功。可添加依赖、检查依赖、运行 Poetry 命令、启动终端。
- 准备检查点：需按照 docs/checkpoints.md 下载模型检查点，下载后按检查点结构放置。
- 推理：运行相应命令，将根据 inputs/t2v/prompts.txt 中的提示自动执行 T2V/T2I，并根据 inputs/i2v/576x1024 中的图像和提示执行 I2V。
- 微调 T2V 模型：按照 docs/datasets.md 使用提供的 toydataset 或构建自己的数据集。所有训练命令在 H800 80G GPU 上测试。支持 VBench 评估以评估 T2V 生成性能，详见 eval/README.md。Git 钩子通过 pre-commit 库处理，可安装钩子以在提交时检查格式、代码规范和类型，也可不提交直接运行钩子。
适用场景：适合需要统一代码库进行多种视频生成模型推理、微调、持续训练、对齐及后处理的开发者和研究者。
限制：
- 使用需准备环境和下载模型检查点，训练命令在 H800 80G GPU 上测试。
- MacOS Apple Silicon 芯片需使用 docker compose 因为部分依赖不支持 arm64。
- 安装 swissarmytransformer 可能挂起，命令行可能卡住需重试。
- 许可证为 CC-BY-NC-ND，如需授权需联系项目负责人。
