用途:基于 Azure AI Voice Live SDK 构建实时语音 AI 应用,通过双向 WebSocket 与模型进行语音和文本交互。
安装:pip install azure-ai-voicelive aiohttp azure-identity
环境变量:AZURE_COGNITIVE_SERVICES_ENDPOINT 与可选的 AZURE_COGNITIVE_SERVICES_KEY。认证推荐 DefaultAzureCredential,也可用 AzureKeyCredential(资料注明不推荐用于生产)。
主要能力:连接对象暴露 session(会话配置)、response(模型响应)、input_audio_buffer / output_audio_buffer(音频输入输出)、conversation(对话状态)、transcription_session(转写配置)等资源。支持设置 instructions、modalities、voice、输入输出音频格式、turn_detection 与 FunctionTool 工具。音频以 Base64 PCM16 流式发送与接收,可处理语音开始/停止、转写增量与完成、响应增量与完成、函数调用参数完成及错误等事件。
使用方式:用 async with connect(...) 建立连接,通过 conn.session.update 配置会话,用 conn.input_audio_buffer.append 发送音频,遍历 conn 处理事件,用 conn.response.create/cancel 控制响应,用 conn.conversation.item.create 添加消息或函数调用输出。支持手动回合模式(turn_detection 设为 None,配合 commit 与 response.create)、打断处理(speech_started 时 cancel 并清空输出缓冲)以及对话历史管理。
适用场景:实时语音助手、电话语音(g711_ulaw/alaw、pcm16-8000hz)、语音转写与函数调用等。
限制:资料未提供具体收费、价格、平台覆盖或效果数据;需自行准备 Azure 端点与凭据,并做环境相关验证、测试与专家审查;缺少必要输入、权限、安全边界或成功标准时应先澄清。