SuperAPI AI 工具集

gemini-live-audio

编程与开发

查看项目

更新于 10-15 20:10

技能介绍

用途:本技能用于构建和评估基于 Google Gemini Live API 与 Gemini Enterprise Agent Platform Live API 的低延迟实时语音、多模态与翻译体验。它面向双向会话(麦克风或流媒体输入、语音输出),而非批量配音渲染;若目标是成品旁白、有声书、播客或离线转写,应改用 TTS 或语音转文字技能。

主要能力:Live API 是有状态的 WebSocket 接口,可处理连续的音频、图像、文本(API 参考中还包括视频)流,返回语音输出,并可按配置返回文本与函数调用事件。支持输入与输出转写、多语言、语音选择、打断(barge-in)、自动或手动 VAD、函数调用与 Google Search 接地。Live Agent 模式适合会推理、提问、调用工具、处理轮次的助手;Live Translation 模式为纯翻译管线,仅限音频、不支持工具与指令驱动。

使用方式:通过 SDK 的 Live connect/session 抽象,或直接连接文档中的 BidiGenerateContent 端点并自行管理 JSON 消息。会话配置前置,包含模型、响应模态、生成参数、系统指令与工具。音频输入为 16 kHz 小端 16 位 PCM,输出为 24 kHz;建议输入分块 20-40 ms,自动 VAD 静音 500-800 ms。工具响应需客户端自行执行并回传 FunctionResponse。长会话需启用上下文压缩与会话恢复。

限制:Developer API 文档将 Live API 标为 Preview;无压缩时会话上限为纯音频 15 分钟、音视频 2 分钟,连接寿命约 10 分钟。模型名称、预览/GA 状态、价格、速率限制、支持区域与治理控制经常变化,生产上线前须复核官方文档。本技能未附带第一方基准,不应编造延迟或质量数据。