SuperAPI AI 工具集

azure-ai-voicelive-java

智能体与模型

查看项目

更新于 10-16 01:50

技能介绍

用途:Azure AI VoiceLive SDK for Java 用于通过 WebSocket 与 AI 助手进行实时、双向语音对话。

安装与环境:Maven 依赖为 com.azure:azure-ai-voicelive:1.0.0-beta.2。需设置 AZURE_VOICELIVE_ENDPOINT 与 AZURE_VOICELIVE_API_KEY;鉴权支持 API Key(AzureKeyCredential)或推荐的 DefaultAzureCredential。入口为 VoiceLiveAsyncClient。

音频要求:24kHz 采样率、16 位 PCM、单声道、有符号小端。

主要用法:用 client.startSession("gpt-4o-realtime-preview") 启动会话;通过 VoiceLiveSessionOptions 配置指令、语音、模态、输入/输出格式、降噪、回声消除、转录与轮次检测(ServerVadTurnDetection);发送 ClientEventSessionUpdate;用 session.sendInputAudio 发送音频;订阅 receiveEvents 处理 SESSION_CREATED、语音开始/停止、RESPONSE_AUDIO_DELTA、RESPONSE_DONE、ERROR 等事件。

语音与工具:支持 OpenAI 语音(ALLOY、ASH、BALLAD、CORAL、ECHO、SAGE、SHIMMER、VERSE),以及 Azure 标准、自定义与个人语音;支持 VoiceLiveFunctionDefinition 函数调用。

最佳实践与限制:使用异步/reactive 模式,配置轮次检测与降噪,合理处理打断,会话结束及时关闭;错误处理可结合 doOnError 与 onErrorResume。资料要求仅在任务明确匹配范围时使用,输出不能替代环境验证、测试或专家评审,若缺少必要输入、权限、安全边界或成功标准应停止并请求澄清。其它细节暂未提供。