用途:构建基于 Gemini Live API 的实时双向流式应用,例如低延迟语音代理、实时对话、视频流交互与语音翻译;也用于将旧版 Live 模型(3.1/2.5/2.0 系列)迁移到 Gemini 3.8 系列。
主要能力:双向音频流(麦克风到扬声器实时对话)、背景推理(extended thinking,可边说填充语边异步执行工具)、实时流式转写(interim 与 finalized 结果)、视频帧流、文本输入输出、输入输出音频转录、VAD(服务端自动、客户端 Hybrid VAD、手动 Push-to-Talk)、异步函数调用、全会话客户端内容注入、会话管理(上下文压缩、会话恢复、GoAway 信号)以及临时令牌用于客户端安全鉴权。模型包括 gemini-3.8-live、gemini-3.8-live-extended-thinking、gemini-3.5-transcribe-live、gemini-3.5-live-translate-preview,支持 70 多种语言。
使用方式:Live API 直接通过 WebSocket 连接。Python 用 google-genai >= 2.3.0(pip install -U google-genai),JavaScript/TypeScript 用 @google/genai >= 2.3.0(npm install @google/genai);旧版 SDK google-generativeai 与 @google/generative-ai 已弃用。实时输入统一用 send_realtime_input / sendRealtimeInput,音频键为 audio、视频为 video、文本为 text;全会话上下文注入用 send_client_content / sendClientContent,需显式指定 user 或 model 角色。输入音频为 16-bit 小端单声道 PCM、16kHz,MIME 为 audio/pcm;rate=16000;输出为 24kHz。可选用 LiveKit、Pipecat、Fishjam、Vision Agents、Voximplant、Firebase AI SDK 等合作伙伴集成走 WebRTC 或简化接入。
适用场景:实时语音助手、语音翻译、实时字幕转写、带视频输入的实时交互、需要后台推理与异步工具的语音代理。
限制:每个会话只能选 TEXT 或 AUDIO 一种响应模态,原生音频模型输出音频时需开启输出转写才能获得文本;纯音频会话无压缩约 15 分钟,音频加视频约 2 分钟;连接生命周期约 10 分钟,需用会话恢复;上下文窗口为 128k 输入 token / 64k 输出 token;不支持代码执行与 URL 上下文。extended-thinking 必须使用 NON_BLOCKING 工具并通过 interaction_status(IN_PROGRESS/IDLE)判断轮次完成。测试建议佩戴耳机,长会话启用上下文压缩,客户端部署使用临时令牌,中断时清空播放队列,并处理每个服务端事件中的全部内容部分。