用途:该技能面向使用 Gemini Live API 构建低延迟实时双向交互应用的开发场景,通过 WebSocket 实现麦克风到扬声器的实时语音对话、视频流和文本输入输出。
主要能力:双向音频流、视频(摄像头/屏幕帧)流、文本收发、输入与输出音频转录、语音活动检测(VAD)自动打断、原生音频与思考(thinkingLevel)、函数调用(同步)、Google 搜索接地、会话管理(上下文压缩、会话恢复、GoAway 信号)以及客户端安全认证的临时令牌。
模型:推荐 gemini-3.1-flash-live-preview(128k 上下文,原生音频输出);转录使用 gemini-3.5-transcribe-live,支持 interim 假设、最终转录、智能格式化和 Hybrid VAD;翻译使用 gemini-3.5-live-translate-preview。部分旧模型已弃用并计划关停。
使用方式:Python 使用 google-genai(pip install google-genai),JavaScript/TypeScript 使用 @google/genai(npm install @google/genai);旧版 SDK 已弃用。实时输入统一使用 send_realtime_input / sendRealtimeInput,send_client_content / sendClientContent 仅用于播种初始上下文历史。音频输入为 16kHz 原始 PCM、小端、16 位、单声道(audio/pcm;rate=16000),输出为 24kHz。
限制:每次会话响应模态只能是 TEXT 或 AUDIO 之一;无压缩时音频会话约 15 分钟、音视频会话约 2 分钟、连接寿命约 10 分钟;原生音频上下文 128k、标准 32k;不支持异步函数调用、主动音频、情感对话、代码执行和 URL 上下文。当前仅支持 WebSocket,WebRTC 需借助第三方集成。测试麦克风时建议使用耳机,浏览器端应使用临时令牌而非直接暴露 API 密钥。
安装与文档获取:若可用 Google MCP 文档工具则优先使用;否则从 https://ai.google.dev/gemini-api/docs/llms.txt 索引获取文档。Codex 可同步至 $CODEX_HOME/skills/gemini-live-api-dev 并重启。模型名与 SDK 版本具时效性,实施前应核对官方最新文档。