SuperAPI AI 工具集

stable-diffusion-videos

stable-diffusion-videos 是一个基于 Stable Diffusion 的开源项目,通过探索潜在空间并在文本提示之间进行变形来生成视频。用户可以在 Colab 中直接尝试,或使用提供的示例脚本。项目支持添加音乐,音频会影响插值速率,使视频随节拍移动。注意:在 Apple M1 架构上需使用 torch.float32,因为 MPS 不支持 torch.float16。该项目基于 @karpathy 分享的脚本修改而来。

访问官网

工具介绍

stable-diffusion-videos 是一个利用 Stable Diffusion 模型生成视频的开源工具。其核心用途是通过在潜在空间中探索并插值,实现不同文本提示之间的平滑变形,从而创建动态视频。例如,可以在“blueberry spaghetti”和“strawberry spaghetti”之间生成变形视频。

主要能力包括:基于文本提示生成视频;支持在 Colab 中直接运行;提供示例脚本(位于 examples 文件夹);新增音乐视频功能,通过提供音频文件路径,音频将影响插值速率,使视频随节拍移动。

使用方式:用户可以在 Colab 中尝试,或参考示例脚本。项目基于 @karpathy 分享的脚本,经过修改后形成当前仓库。对于 Apple M1 架构,需使用 torch.float32,因为 torch.float16 在 MPS 上不可用。

适用场景:适合需要生成文本提示间变形视频的创意工作者、研究人员或爱好者。限制:暂未提供其他详细信息。