Bernini 是字节跳动发布并开源的统一视频生成与编辑框架，其核心设计是将基于多模态大语言模型（MLLM）的语义规划器与基于 Diffusion Transformer（DiT）的渲染器组合在一起。相关论文为《Bernini: Latent Semantic Planning for Video Diffusion》。
用途 Bernini 面向视频生成与视频编辑任务。官方说明其在视频编辑方面达到领先闭源商业模型的第一梯队水平，评测数据来自其自建的竞技场平台，由人工标注者进行盲选配对编辑投票，并汇总为 Bradley-Terry 分数与两两胜率矩阵。
主要能力 项目提供两个模型家族：Bernini（完整框架，包含语义规划器与渲染器）和 Bernini-R（渲染器）。两者共享同一任务接口：t2i、i2i、t2v、v2v、rv2v、r2v。仓库中说明，Bernini-R 由 Wan2.1-1.3B 微调而来的 1.3B 权重，在风格迁移、字幕或水印去除、局部编辑等简单任务上表现接近 14B 变体，但在人体生成等更复杂任务上落后于 14B 变体。
时间线（来自官方说明）
- 2026-07-13：发布 Bernini Renderer（Bernini-R）的训练代码，完整训练指南见 docs/bernini_r_train.md。
- 2026-06-11：在 ByteDance/Bernini-Diffusers 开源完整 Bernini（Bernini）的推理代码与模型权重。
- 2026-06-09：在 ByteDance/Bernini-R-1.3B-Diffusers 开源 Bernini Renderer（Bernini-R）的 1.3B 权重。
- 2026-06-01：在 ByteDance/Bernini-R-Diffusers 开源 Bernini Renderer（Bernini-R）的推理代码与模型权重。
- 2026-05-22：发布论文 Bernini: Latent Semantic Planning for Video Diffusion。
使用方式
- 模型选择：仓库提供两个模型家族，需二选一，并按各自指南进行权重下载、推理命令与脚本运行。
- 环境要求：需要 CUDA GPU，推荐 Hopper GPU（H100/H800/H200）以便使用 FlashAttention-3；其他 CUDA GPU 可回退到 FlashAttention-2 或 PyTorch SDPA。CUDA toolkit 12.6（与固定的 torch==2.7.1+cu126 匹配；若自行构建 FlashAttention-3，最低为 12.3+）。requirements.txt 中固定版本为：torch==2.7.1+cu126、diffusers==0.35.2、accelerate==0.34.2、transformers==4.57.3。
- 推理安装：Open-VeOmni（Apache-2.0，Python 3.11）是必需依赖项，所有推理路径都导入它，包括单 GPU。
- 训练安装：推荐使用 uv 管理 Python 环境，pyproject.toml 声明全部训练依赖并自动将 torch/torchvision 路由到正确的 CUDA 索引。uv sync 会自动创建并使用 .venv，可通过 source .venv/bin/activate 激活，或用 uv run <cmd> 在其中运行命令。完整训练指南见 docs/bernini_r_train.md。
- 可选加速：FlashAttention-2 适用于一般 CUDA GPU（含 A100/A800），安装命令为 pip install flash-attn==2.8.3；FlashAttention-3 仅适用于 Hopper（H100/H800/H200，CUDA ≥ 12.3，PyTorch ≥ 2.4），flash_attn_interface 不在 PyPI 上，需从 flash-attention 仓库 hopper/ 目录在 tag v2.8.3 下构建，命令为：git clone https://github.com/Dao-AILab/flash-attention.git；cd flash-attention && git checkout v2.8.3；cd hopper && MAX_JOBS=$(nproc) python3 setup.py install --user。
- 案例文件：一次运行由一个 case 文件描述——assets/testcases/ 下的小型 JSON，打包一个任务的路由与输入（task_type、guidance_mode、prompt、源媒体、输出），以避免长提示词出现在命令行中。每个任务在 assets/testcases/ 下有一个目录，包含一个或多个示例。
- 提示词增强器（强烈推荐）：--use_pe 通过 OpenAI 兼容端点增强提示词，官方推荐用于获得最佳生成质量。openai SDK 由 requirements.txt 安装，需通过环境变量配置端点。
- Gradio 演示：gradio_demo.py 通过 Gradio UI 为 Bernini 和 Bernini-R 暴露同一管线；任务类型下拉框自动填充 guidance_mode（仍可用户编辑），上传媒体被路由到匹配槽位，结果内联渲染。启动命令见各模型指南。在 gradio_demo.py 中加 --use_pe（配合上述提示增强器环境变量）可启用提示词增强；UI 内的复选框是在此旗标之上按请求切换的开关。
适用场景与限制 适用场景：视频生成与视频编辑，包括风格迁移、字幕或水印去除、局部编辑等；官方称编辑能力在闭源商业模型中达到第一梯队。限制：需要 CUDA GPU，推荐 Hopper 架构；需要 CUDA toolkit 12.6（最低 12.3+，用于构建 FlashAttention-3）；推理依赖 Open-VeOmni；1.3B 变体在复杂任务（如人体生成）上落后于 14B 变体；权重下载与各任务推理命令因模型而异，需按对应文档操作。以上均为官方说明，未提供的功能、收费、价格、平台或效果信息暂未提供。
许可与致谢 项目采用 Apache License 2.0。构建基于多个开源项目，包括 Wan2.2-T2V-A14B 与 Qwen2.5-VL-7B-Instruct。
