用途:AudioCraft 用于从文本描述生成音乐(MusicGen)和音效/环境声(AudioGen),并提供 EnCodec 高保真神经音频编解码器。适合构建音乐生成应用、制作音效、旋律条件生成、立体声输出及基于参考的风格迁移。
主要能力:MusicGen 支持文本到音乐、旋律条件生成(generate_with_chroma)、立体声变体与 MusicGen-Style 风格条件生成;AudioGen 支持文本到音效;EnCodec 支持音频编码为 token 并解码重建。模型规模从 300M(small)到 3.3B(large),含 melody、stereo、style 等变体。生成参数包括 duration、top_k、top_p、temperature、cfg_coef 等。
使用方式:安装可执行 pip install audiocraft,或 pip install git+https://github.com/facebookresearch/audiocraft.git,也可用 HuggingFace Transformers(pip install transformers torch torchaudio)。基本流程为加载预训练模型(如 facebook/musicgen-small)、调用 set_generation_params 设置参数、用 generate 生成音频,再用 torchaudio.save 保存。AudioGen 用法类似,采样率通常为 16000。
适用场景:文本到音乐、音效设计批处理、旋律/风格条件创作、音频压缩重建、Gradio 演示等。
限制:资料未提供收费、价格与商用授权信息;长音频生成、训练与微调细节需参考官方文档。显存需求随模型增大,small 约 4GB FP32,large 约 16GB;CUDA OOM 时可换小模型或缩短时长。资料建议的替代方案包括 Stable Audio、Bark、Riffusion、OpenAI Jukebox。