SuperAPI AI 工具集

deepgram-java-voice-agent

智能体与模型

查看项目

更新于 10-15 20:35

技能介绍

用途:在 Deepgram Java SDK 仓库中编写或审查 Java 代码,构建基于 agent.deepgram.com/v1/agent/converse 的交互式语音智能体。适用于需要实时对话、在单一会话中编排 STT、思考提供方与 TTS,以及消息注入、提示更新或函数调用处理的场景。仅需转写、语音合成或管理端点时应使用其他技能。

主要能力:通过 client.agent().v1().v1WebSocket() 建立连接;用 AgentV1Settings 配置初始会话;常用发送方法包括 sendSettings、sendMedia、sendUpdatePrompt、sendUpdateSpeak、sendInjectUserMessage、sendInjectAgentMessage、sendFunctionCallResponse、sendKeepAlive;事件处理器包括 onWelcome、onSettingsApplied、onConversationText、onUserStartedSpeaking、onAgentThinking、onFunctionCallRequest、onAgentStartedSpeaking、onAgentAudioDone、onAgentV1Audio、onInjectionRefused、onPromptUpdated、onSpeakUpdated、onErrorMessage、onWarning。思考模型发现位于 client.agent().v1().settings().think().models().list()。

使用方式:使用 DeepgramClient.builder().apiKey(System.getenv("DEEPGRAM_API_KEY")).build() 认证。示例在 onWelcome 回调中构建 AgentV1Settings 并立即调用 sendSettings。提供方应使用包装/联合类型(如 OpenAiThinkProvider.of(...)),而非原始 JSON。

限制与注意:基础 URL 为 agent 环境而非标准 API 基础地址,SDK 通过 environment().getAgentURL() 自动路由;音频为二进制 ByteString,播放输出需自行负责;sendMedia 为原始音频字节,需匹配所配置的音频设置;提供方底层载荷仍为 Object,字段错误不会在编译期捕获;此检出中未展示持久化智能体配置管理客户端,仅提供实时运行时与思考模型发现;关闭为连接级别,示例调用 disconnect(),没有类似 Speak/Listen 的独立关闭消息流程。仓库示例文件包括 examples/agent/VoiceAgent.java、InjectMessage.java、ProviderCombinations.java、CustomProviders.java。跨语言产品知识可安装 npx skills add deepgram/skills。