用途:用于开发基于 Gemini Live API 的实时双向流式应用,通过 WebSocket 实现低延迟的语音与视频交互,可处理持续的音频、视频或文本流并给出即时语音回复。
主要能力:双向音频流(麦克风到扬声器实时对话)、视频流(与音频一同发送摄像头/屏幕帧)、文本输入输出、输入与输出音频转写、语音活动检测(自动打断处理)、原生音频(可配置 thinkingLevel)、函数调用(同步工具调用)、Google 搜索接地、会话管理(上下文压缩、会话恢复、GoAway 信号)、临时令牌(客户端安全认证)。仅支持 WebSocket,如需 WebRTC 或简化集成可用合作方集成(LiveKit、Pipecat、Fishjam、Vision Agents、Voximplant、Firebase AI SDK)。
模型:推荐 gemini-3.1-flash-live-preview(低延迟实时对话、原生音频输出、128k 上下文);翻译模型 gemini-3.5-live-translate-preview。部分旧模型已弃用并将关停,需迁移至 gemini-3.1-flash-live-preview。
用法:Python 安装 pip install google-genai,JS/TS 安装 npm install @google/genai;旧 SDK 已弃用。实时用户输入应使用 send_realtime_input / sendRealtimeInput(audio、video、text 分别传对应字段),send_client_content 仅用于初始化上下文历史。音频输入为 16kHz 单声道 PCM,输出为 24kHz。
限制:每次会话响应模态只能为 TEXT 或 AUDIO 之一;无压缩时纯音频会话 15 分钟、音视频 2 分钟,连接寿命约 10 分钟(需会话恢复);上下文 128k(原生音频)或 32k(标准);暂不支持异步函数调用、主动音频、情感对话、代码执行与 URL 上下文。