SuperAPI AI 工具集

gemini-live-api-dev

编程与开发

查看项目

更新于 10-16 06:45

技能介绍

用途:面向需要构建实时双向流式应用的场景,通过 Gemini Live API 在 WebSocket 上实现低延迟的语音与视频交互,处理持续的音频、视频或文本流并返回近乎自然的语音回应。

主要能力:双向音频流(麦克风到扬声器实时对话)、视频流(摄像头/屏幕帧)、文本输入输出、输入与输出音频转写、语音活动检测(VAD)与自动打断、原生音频思考(可配置 thinkingLevel)、函数调用(同步工具调用)、Google 搜索接地、会话管理(上下文压缩、会话恢复、GoAway 信号)、临时令牌(ephemeral tokens)用于客户端安全认证。

模型与SDK:推荐 gemini-3.1-flash-live-preview(低延迟实时对话、原生音频输出、128k 上下文窗口)。文档明确列出的旧模型 gemini-2.5-flash-native-audio-preview-12-2025、gemini-live-2.5-flash-preview、gemini-2.0-flash-live-001 已弃用并将关停,需迁移到新模型。Python 用 google-genai(pip install google-genai),JavaScript/TypeScript 用 @google/genai(npm install @google/genai);旧版 google-generativeai 与 @google/generative-ai 已弃用。

使用方式:用 API Key 初始化客户端;通过 LiveConnectConfig 设置 response_modalities、system_instruction 等后连接会话。实时用户输入统一用 send_realtime_input(音频、视频、文本分别用 audio、video、text 键),send_client_content 仅用于预置初始上下文历史。接收端在单个服务端事件中可能同时含多个内容部分(音频与转写),需逐个处理。音频输入为原生 16kHz、小端 16 位单声道 PCM,输出为 24kHz。仅在无 MCP 文档工具时回退到官方文档索引 https://ai.google.dev/gemini-api/docs/llms.txt。

适用场景与限制:适合实时语音助手、带摄像头的交互式应用,以及需要 WebRTC 简化的第三方集成(文档列出 LiveKit、Pipecat、Fishjam、Vision Agents、Voximplant、Firebase AI SDK)。限制:每会话响应模态只能选 TEXT 或 AUDIO 之一;未压缩音频会话 15 分钟、音视频会话 2 分钟;连接寿命约 10 分钟(需会话恢复);上下文窗口 128k(原生音频)/32k(标准);异步函数调用、主动音频、情感对话、代码执行、URL 上下文暂不支持。测试建议戴耳机防回声,超 15 分钟启用上下文压缩,客户端部署使用临时令牌,麦克风暂停时发送 audioStreamEnd,打断时清空播放队列。资料未提供价格与具体第三方集成步骤。