用途:基于 Meta AudioCraft 做文本到音乐与文本到音效的生成,主要包含 MusicGen(文本生音乐,支持旋律条件)、AudioGen(文本生音效/环境声)与 EnCodec(高保真神经音频编解码)。
主要能力:MusicGen 可按描述生成音乐,支持 300M 到 3.3B 的多档模型、立体声输出、风格条件(MusicGen-Style 参考音频)与音频续写;AudioGen 生成音效;EnCodec 用于音频压缩与重建。常用参数含 duration、top_k、top_p、temperature、cfg_coef。
用法:可 pip install audiocraft,或 pip install git+https://github.com/facebookresearch/audiocraft.git,或使用 transformers 配合 torch、torchaudio。加载如 MusicGen.get_pretrained('facebook/musicgen-small')、AudioGen.get_pretrained('facebook/audiogen-medium')、CompressionModel.get_pretrained('facebook/encodec_32khz'),设置 set_generation_params 后调用 generate,结果用 torchaudio.save 保存。
适用场景:音乐与音效原型、批量音效设计、音乐生成应用与 Gradio 演示。
限制:文档说明有显存需求(如 small 约 4GB、medium 约 8GB、large 约 16GB),生成过长或显存不足可能 OOM;质量依赖提示与参数。文档亦列出替代方案 Stable Audio、Bark、Riffusion、OpenAI Jukebox,但未提供具体收费、价格或效果对比。