用途
Open-Sora 是一个致力于高效生成高质量视频的开源项目（initiative），由 hpcaitech 维护。官方表述其目标是让模型、工具和所有细节对所有人可用，通过开源方式降低先进视频生成技术的使用门槛，并提供简化视频生成复杂流程、用户友好的平台，从而促进内容创作领域的创新、创造力与包容性。
主要能力
- 视频生成：支持文本生成视频（Text-to-Video）与图像生成视频（Image-to-Video）。官方说明其模型针对图像生成视频进行了优化，但也可用于文本生成视频；为生成高质量视频，项目借助 flux 文本生成图像模型构建了 text-to-image-to-video 流程。
- 分辨率与参数：Open-Sora 2.0（11B）模型支持 256px 和 768px 分辨率，T2V 与 I2V 由同一模型支持。可通过 --aspect_ratio 调整生成宽高比，候选值包括 16:9、9:16、1:1、2.39:1；可通过 --num_frames 调整生成长度，候选值应为 4k+1 且小于 129。
- 运动分数（motion score）：训练时项目将运动分数加入文本提示；推理时可使用命令生成带运动分数的视频，默认分数为 4。项目还提供动态运动分数评估器，设置 OpenAI API key 后可评估视频的运动分数。
- 提示词优化：项目利用 ChatGPT 优化提示词，该功能对文本生成视频和图像生成视频均可用。
- 可复现性：可通过设置随机种子使结果可复现；可用 --num-sample k 为每个提示生成 k 个样本。
- 训练与微调：官方提供逐步训练或微调自有模型、逐步训练与评估视频自编码器的指引。
- 版本迭代：Open-Sora 1.1 支持 2s~15s、144p 到 720p、任意宽高比的文本生成图像、文本生成视频、图像生成视频、视频生成视频以及无限时长生成，并发布了完整的视频处理流程；Open-Sora 1.2 包含 3D-VAE、rectified flow、score condition；Open-Sora 1.3 采用 shift-window attention、统一时空 VAE 等。
使用方式
- 安装与部署：项目提供检查点下载（Hugging Face 与 ModelScope，包括 11B 模型）。可选择性安装 flash attention 3 以加速。11B 模型支持的推理方式包括直接文本生成视频，以及文本生成图像再生成视频的流程。
- 推理命令：提供 256x256 与 768x768 分辨率下的文本生成视频命令、直接文本生成视频命令、带参考图与提示的图像生成视频命令、带运动分数（默认 4）的生成命令、运动分数评估命令、提示词优化命令、随机种子设置命令，以及 --num-sample k 多采样命令。
- 计算效率：官方在 H100/H800 GPU 上测试了文本生成视频的计算效率。256x256 使用 colossalai 的张量并行并开启 --offload True；768x768 使用 colossalai 的序列并行；均使用 50 步。结果以“总时间(s)/峰值 GPU 显存(GB)”格式呈现（具体数值未在提供资料中列出）。
- 成本优化：项目提及视频生成模型开发成本降低 50%（2024.12.23 博客），提供开源方案与 H200 GPU 代金券；Open-Sora 2.0 的训练代码与检查点完全开源，训练成本为 20 万美元；2024.03.04 博客提到训练成本降低 46%。
适用场景
适用于希望研究、复现或基于开源方案进行视频生成开发的人员与团队，包括视频生成模型的训练与微调、视频自编码器研究、文本生成视频与图像生成视频的应用探索，以及内容创作领域的创新实践。项目按版本维护不同分支（最新为 main，旧版本包括 v1.0、v1.1、v1.2、v1.3）。
限制与说明
- 项目处于活跃开发中，不同版本维护在不同分支。
- Open-Sora 2.0 的对比数据为官方公布：在 VBench 上相比 Open-Sora 1.2 将与 OpenAI Sora 的差距从 4.52% 缩小至 0.69%；人类偏好结果与 HunyuanVideo 11B 和 Step-Video 30B 表现相当。
- 演示视频以压缩 GIF 格式展示，原始质量样本与对应提示词需访问其 Gallery；提示词在展示时经过裁剪。
- 具体安装命令、完整命令示例与具体效率数值未在提供资料中完整给出，需参考项目仓库与相关报告。
