用途:为视频制作生成音乐,包括背景音乐、带人声与歌词的歌曲、翻唱/风格迁移、分轨提取、局部重绘和续写。核心脚本为 tools/music_gen.py,通过 uv run 调用。
主要能力:文本生成音乐(text2music,默认)、cover 风格迁移(--cover-strength 0.0-1.0,默认0.7)、extract 分轨(vocals、drums、bass、guitar、piano、keyboard、strings、brass、woodwinds、other)、repaint 局部重绘(仅 acemusic)、continuation 续写(仅 acemusic)。支持 --lyrics 歌词、--bpm、--key、--duration、--variations(1-8)、--seed、--guidance-scale、--infer-method(ode/sde)、--thinking/--no-thinking、--preset 场景预设(corporate-bg、upbeat-tech、ambient、dramatic、tension、hopeful、cta、lofi)、--brand 加载品牌提示。
使用方式:默认云端 acemusic,在 .env 写入 ACEMUSIC_API_KEY(取自 acemusic.ai/api-key),无需 GPU。示例:uv run tools/music_gen.py --prompt "Upbeat tech corporate" --duration 60 --output bg.mp3。自托管可选 Modal(uv run modal deploy docker/modal-music-gen/app.py,需 MODAL_MUSIC_GEN_ENDPOINT_URL)或 RunPod(uv run tools/music_gen.py --setup,需 RUNPOD_ACESTEP_ENDPOINT_ID),通过 --cloud modal/runpod 切换。
场景与限制:输出 48kHz MP3/WAV/FLAC,时长 10-600 秒,BPM 30-300,音乐时长精确(约0.1秒内)。适合按场景(标题、问题、方案、演示、数据、CTA、片尾)配乐,背景音乐在混音中建议 10-20% 音量。人声性别控制需在提示词与歌词标签中同时指定。分轨提取在自托管 turbo 端点(Modal XL Turbo、RunPod 2B Turbo)预期效果较弱。不适用于语音克隆、音效和旁白/解说;从视频提取分轨需先用 FFmpeg 提取音频。具体收费、价格与其他平台信息暂未提供。