用途:依据文本内容通过 Azure OpenAI Realtime API 生成真实语音叙事(播客式音频),并返回可播放的音频与转写文本。主要能力包括:通过 WebSocket 连接 Azure OpenAI Realtime 端点;发送文本提示后收集 PCM 音频分片与转写内容;将 PCM 转换为 WAV;把 base64 编码音频交给前端播放。使用方式:先配置环境变量 AZURE_OPENAI_AUDIO_API_KEY、AZURE_OPENAI_AUDIO_ENDPOINT、AZURE_OPENAI_AUDIO_DEPLOYMENT(示例为 gpt-realtime-mini),端点不要包含 /openai/v1/;后端将 https 端点替换为 wss 并拼接 /openai/v1,使用 AsyncOpenAI(websocket_base_url=..., api_key=...) 连接,会话设置 output_modalities 为 audio,创建用户文本消息并触发响应,监听 response.output_audio.delta、response.output_audio_transcript.delta、response.done 事件,错误通过 event.error.message 处理;随后用 scripts/pcm_to_wav.py 将 PCM(24kHz、16 位、单声道)转为 WAV,前端把 base64 WAV 转为 Blob 并用 Audio 播放。可选语音有 alloy(中性)、echo(温暖)、fable(表现力强)、onyx(低沉)、nova(友好)、shimmer(清晰)。参考文件包括 references/architecture.md 与 references/code-examples.md。限制:仅在任务明确符合上述范围时使用;输出不能替代针对具体环境的验证、测试或专家审查;若缺少必要输入、权限、安全边界或成功标准,应停止并请求澄清。
podcast-generation
智能体与模型
更新于 10-16 01:49