Latte 是一种用于视频生成的潜在扩散 Transformer（Latent Diffusion Transformer）。
用途 Latte 面向视频生成任务，包括无条件视频生成、基于类别的条件生成、基于提示词的条件生成，以及文本到视频（T2V）生成。
主要能力 Latte 首先从输入视频中提取时空 token，然后采用一系列 Transformer 块在潜在空间中建模视频分布。为了对从视频中提取的大量 token 进行建模，Latte 从分解输入视频空间维度和时间维度的角度引入了四种高效变体。为提升生成视频质量，该工作通过严格的实验分析确定了 Latte 的最佳实践，涵盖视频片段 patch 嵌入、模型变体、时间步-类别信息注入、时间位置嵌入和学习策略。
生成任务表现 无条件生成：在 Taichi-HD（256 x 256）、FaceForensics（256 x 256）和 SkyTimelapse（256 x 256）数据集上进行无条件视频生成。 基于类别的条件生成：给定类别后，Latte 能够生成所需视频，结果在 UCF101（256 x 256）数据集上展示。 基于提示词的条件生成：使用 Latte 生成所需视频，示例提示包括“Yellow and black tropical fish dart through the sea.”、“An epic tornado attacking above aglowing city at night.”、“Slow pan upward of blazing oak fire in an indoor fireplace.”、“a cat wearing sunglasses and working as a lifeguard at pool.”、“Sunset over the sea.”、“A dog in astronaut suit and sunglasses floating in space.”。
与其他最优方法的比较 在 UCF101、Taichi-HD、FaceForensics 和 SkyTimelapse 数据集上分别与其他最优方法进行了视觉比较。
综合评估 全面评估表明，Latte 在 FaceForensics、SkyTimelapse、UCF101 和 Taichi-HD 四个标准视频生成数据集上取得了当时最优性能。此外，Latte 被扩展到文本到视频生成（T2V）任务，在该任务上取得了与近期 T2V 模型相当的结果。该工作被认为为未来将 Transformer 融入扩散模型进行视频生成的研究提供了有价值的见解。
使用方式与限制 提供的资料未说明 Latte 的具体安装命令、代码调用方式、在线试用入口、许可协议或可直接操作的步骤，这些信息暂未提供。资料仅包含研究介绍、生成能力说明与示例提示词，并以论文引用作为使用者的致谢请求。
