stable-diffusion-videos 是一个利用 Stable Diffusion 模型生成视频的开源工具。其核心用途是通过在潜在空间中探索并插值,实现不同文本提示之间的平滑变形,从而创建动态视频。例如,可以在“blueberry spaghetti”和“strawberry spaghetti”之间生成变形视频。
主要能力包括:基于文本提示生成视频;支持在 Colab 中直接运行;提供示例脚本(位于 examples 文件夹);新增音乐视频功能,通过提供音频文件路径,音频将影响插值速率,使视频随节拍移动。
使用方式:用户可以在 Colab 中尝试,或参考示例脚本。项目基于 @karpathy 分享的脚本,经过修改后形成当前仓库。对于 Apple M1 架构,需使用 torch.float32,因为 torch.float16 在 MPS 上不可用。
适用场景:适合需要生成文本提示间变形视频的创意工作者、研究人员或爱好者。限制:暂未提供其他详细信息。