Stable Audio Open 是 Stability AI 开发的一款开源文本到音频生成模型，旨在根据文本提示生成音频样本。以下从用途、主要能力、使用方式、适用场景和限制等方面进行介绍。
用途 Stable Audio Open 主要用于生成音乐制作和声音设计所需的音频样本，例如鼓点、乐器连复段、环境音和拟音录音。它并非为生成完整歌曲、旋律或人声而优化。
主要能力
- 生成可变长度的立体声音频，采样率为 44.1kHz，最长可达 47 秒。
- 支持通过文本提示生成多种类型的音频样本，如摇滚鼓点、黑鸟鸣叫、模拟合成器琶音等。
- 模型架构包含三个组件：压缩波形的自编码器、基于 T5 的文本嵌入条件，以及在自编码器潜在空间中运行的基于 Transformer 的扩散模型。
- 基于 Transformer 架构，采用潜在扩散模型方法训练。
- 训练数据来自 FreeSound（472,618 条）和 Free Music Archive（13,874 条），共 486,492 条录音，均采用 CC0、CC BY 或 CC Sampling+ 许可。经过严格流程确保训练数据中不包含受版权保护的音乐。
使用方式
- 设计用于与开源 stable-audio-tools 库配合进行推理和微调。
- 用户可以在自己的自定义音频数据上微调模型，例如鼓手在自己的鼓录音上微调。
- 模型权重可在 Hugging Face 上获取，需先同意许可协议。
- 可通过 stableaudioopen.app 在线免费使用。
适用场景
- 音乐制作：生成鼓点、乐器连复段等样本。
- 声音设计：生成环境音、拟音录音等。
- 研究：在非商业研究社区协议许可下进行学术研究。
- 微调：基于自定义音频数据训练个性化模型。
限制
- 不适用于生成完整歌曲、旋律或人声。
- 采用 Stability AI 的非商业研究社区协议许可，仅限非商业用途。
- 模型权重需同意许可协议后方可访问。
- 关于收费、价格、平台兼容性等具体信息暂未提供。
