用途:@azure/ai-voicelive 是面向 JavaScript/TypeScript 的实时语音 AI SDK,用于在 Node.js 与浏览器中构建与 Azure AI 双向通信的语音助手。
安装:npm install @azure/ai-voicelive @azure/identity;TypeScript 用户可加装 npm install @types/node。当前版本 1.0.0-beta.3,支持 Node.js LTS(20+)与现代浏览器。环境变量包括 AZURE_VOICELIVE_ENDPOINT、可选的 AZURE_VOICELIVE_API_KEY 与 AZURE_LOG_LEVEL。
主要能力:VoiceLiveClient 创建会话,VoiceLiveSession 管理 WebSocket 连接,可 updateSession 配置模态、指令、语音、VAD 回合检测、输入输出音频格式与工具;subscribe 按 Azure SDK 模式注册事件处理器,覆盖连接、会话、语音起止、转写、响应文本与音频增量、函数调用等;sendAudio 流式发送音频,addConversationItem 添加消息或函数输出,sendEvent 发送原始协议事件。
认证:推荐 Microsoft Entra ID 的 DefaultAzureCredential,也可使用 AzureKeyCredential 传入 API 密钥。
适用场景与模型:可用于实时语音对话、语音转写与合成、函数调用等;模型示例有 gpt-4o-realtime-preview、gpt-4o-mini-realtime-preview、phi4-mm-realtime。语音支持 azure-standard、azure-custom、azure-personal、openai 等类型;回合检测含 server_vad 与 azure_semantic_vad 系列;音频格式含 pcm16(24kHz 默认)、pcm16-8000hz、pcm16-16000hz、g711_ulaw、g711_alaw。浏览器端需打包工具并申请麦克风权限,使用 InteractiveBrowserCredential。
限制:官方未提供价格、配额与完整端到端示例等细节,暂未提供;仅应在任务与上述范围明确匹配时使用,输出不替代环境相关验证、测试或专家审查,缺少必要输入、权限、安全边界或成功标准时应先请求澄清。