用途:为游戏添加音频,包括音效(SFX)生成、自适应音乐、配音,以及音频状态机集成。同一技能支持两个提供方:ElevenLabs API(语音、音效、音乐)与 Vertex AI Lyria(音乐生成),由用户自行选择,游戏代码无需关心音频由哪个提供方生成。
主要能力:通过 ElevenLabs 生成角色语音(TTS、语音克隆)、文本描述的音效、提示词驱动的音乐(最长约 5 分钟,可含人声或纯器乐);通过 Vertex AI Lyria 生成 32.8 秒器乐 WAV。提供音频管理器样板,支持基于状态的音乐切换与交叉淡入淡出、独立音量层(音乐、音效、语音、环境音)、移动端音频解锁、预加载清单。
使用方式:选择提供方后复制对应客户端样板(elevenlabs-client.ts、elevenlabs-music-client.ts、lyria-client.ts),配置环境变量(ElevenLabs 需 ELEVENLABS_API_KEY;Lyria 需启用 Vertex AI 的 Google Cloud 项目及 ADC 或服务账号认证)。用 sound-config.ts 定义游戏状态到音轨、音量、淡入淡出时长的映射,再引入 audio-manager.ts,通过 audio.transition('combat') 等调用驱动音频。提示词模板见 prompt-catalog.md。Lyria 输出 WAV 可用 ffmpeg 转 OGG/MP3,例如 ffmpeg -i input.wav -c:a libvorbis -q:a 5 output.ogg;ElevenLabs 直接输出 MP3 或 OGG。
适用场景:游戏菜单、探索、战斗、Boss、社交、待机等状态的音乐切换,UI 音效、战斗音效、NPC 语音、环境循环音。
限制与注意:移动端需用户交互后才能播放,应设“点击开始”门槛;状态切换应交叉淡入淡出;需提供分层音量滑块;ElevenLabs 音乐提示词需注明 instrumental only,Lyria 需在负向提示中写 no vocals、no sound effects;战斗音轨应预加载;Lyria 种子需记录以便复现;compositionPlan API 可能需要较新的 ElevenLabs SDK 版本。具体收费、价格与效果资料未提供。