用途:AudioCraft 用于从文本描述生成音乐与音效,适合音乐生成应用、音效设计、旋律条件生成和立体声输出等场景。
主要能力:MusicGen 支持文本生成音乐、旋律条件生成、立体声与风格迁移;AudioGen 支持文本生成音效与环境音;EnCodec 提供高保真神经音频编解码。模型规模从 300M 到 3.3B,含 musicgen-small/medium/large、melody、stereo、style 及 audiogen-medium 等变体。
使用方式:可 pip install audiocraft,或从 GitHub 安装,也可用 HuggingFace Transformers。基本流程为加载预训练模型、set_generation_params 设置 duration、top_k、temperature、cfg_coef 等参数,再调用 generate 生成并用 torchaudio.save 保存。旋律条件用 generate_with_chroma,风格条件用 generate_with_style,音效使用 AudioGen。
限制:资料未提供收费、价格与商用授权信息;生成时长、显存需求随模型规模变化,可能出现 CUDA OOM 或音质问题,需调整模型、时长与参数。