Mubert-Text-to-Music 是一个开源仓库,包含 Google Colab 笔记本,演示如何通过 Mubert API 实现基于提示的音乐生成。
用途:该演示旨在展示文本提示生成音乐的能力,并提供一个简单的界面,用户可以通过输入提示和时长来生成音乐。此外,还有一个结合 Deforum Stable Diffusion 的演示,用于生成即时的提示音乐视频。
主要能力:
- 根据文本提示和指定时长生成音乐。
- 每次请求生成独特的音乐组合,重复概率极低。
- 音乐实时创建,并非从成品曲库中选取。
- 支持生成循环曲目或带开始和结束的曲目。
- 结合 Stable Diffusion 生成音乐视频。
使用方式: 用户可以通过 Google Colab 运行提供的笔记本。在笔记本中,用户可以设置提示和时长等参数,然后调用 Mubert API 生成音乐。对于音乐视频生成,需使用 Stable Diffusion + Mubert 笔记本。
技术原理: 输入提示和 Mubert API 标签都被编码为 transformer 神经网络的潜在空间向量,然后为每个提示选择最接近的标签向量,并将相应标签发送到 Mubert API 进行音乐生成。所有声音(如贝斯、主音等独立循环)由音乐家和声音设计师创作,并非由神经网络合成。Mubert 的专有技术负责分析、选择相关声音,并构建编曲和作曲。
适用场景:
- 为图像和视频同步生成背景音乐。
- 快速原型设计音乐创意。
- 探索文本到音乐的生成技术。
限制:
- 自定义许可允许免费使用音乐并署名,用于与图像和视频同步,但不得作为自己的作品发布到 DSP(如 Spotify、Apple Music、Deezer)。
- 需提及 @mubertapp 和 #mubert 标签。
- 商业许可需联系 Mubert。
- 该演示是迈向更复杂和准确生成算法的第一步,但需要时间和资源。
所有音乐由 Mubert API 生成,更多信息请访问 www.mubert.com/。