Lucid Sonic Dreams 是一个将 GAN 生成的视觉画面与音乐同步的开源工具。它通过分析音乐节奏和特征,驱动生成对抗网络(GAN)生成与音乐同步变化的视觉动画。
主要能力:默认使用 NVLabs StyleGAN2,并采用 Justin Pinkney 整合仓库中的预训练模型。用户也可以使用自定义权重和其他 GAN 架构。项目提供了基础可视化代码片段和教程 Notebook,其中包含完整的参数描述和示例代码模板。
使用方式:通过 pip 安装,命令为 pip install lucidsonicdreams。安装后,可参考 Lucid Sonic Dreams Tutorial Notebook 了解参数和编写代码。该实现已在 Python 3.6 和 3.7 上测试,需要 TensorFlow 1.15,不支持 TensorFlow 2.x。
适用场景:适合需要将音乐与 GAN 生成视觉同步的创意项目,例如音乐可视化、艺术创作等。示例输出可在 YouTube 和 Instagram 上找到。
限制:仅支持 Python 3.6 和 3.7,依赖 TensorFlow 1.15,不支持 TensorFlow 2.x。其他限制暂未提供。