用途:构建低延迟、可全双工对话的实时语音 AI 智能体,核心目标是让“语音到耳朵”的完整回路延迟低于 1000ms,理想低于 500ms。
主要能力与管线:传输层优先用 WebRTC(浏览器)或 WebSocket(服务间);VAD 检测用户说话起止,可用 Silero VAD、WebRTC VAD;STT 转写音频,可用 Deepgram(最快)、Whisper(准确但较慢)、AssemblyAI;LLM 生成回复,可用 Groq(Llama 3)、GPT-4o、Claude 3.5 Sonnet;TTS 合成语音,可用 ElevenLabs(音质)、Cartesia(速度)、OpenAI TTS。
架构模式:采用流式管线,不要等完整转写或完整生成,链路为“用户音频流 → VAD → STT 流 → LLM 流 → TTS 流 → 音频输出”。需处理打断(Barge-in):AI 说话时若 VAD 检测到用户语音,立即中断文本生成与音频播放并清空缓冲。
实现栈:后端可用 Python(FastAPI)或 Node.js,Python 音频处理生态更强(numpy/scipy);框架可用 Pipecat(开源语音智能体框架)、LiveKit(实时音视频 WebRTC 基础设施)、Twilio(电话集成)。
优化技巧:VAD 起始检测可调敏感,但结束判定需谨慎设置静音超时(通常 500ms–800ms);提示词要求 LLM 简洁口语化,例如系统提示“You are a helpful voice assistant. Keep responses short (1-2 sentences). Do not use markdown or emojis.”;音频传输用 OPUS 或 PCM(16khz/24khz/48khz),避免 MP3 转码延迟。
调试与指标:WER 衡量 STT 准确率,TTFT 衡量 LLM 速度,TTA(用户静音到 AI 首次发声)是关键指标。常见坑:回声消除问题(用户听到自己)应使用 WebRTC 内置 AEC;STT 幻觉(Whisper 把静音转成文字);打断时的竞态条件。
限制:资料未提供具体安装命令、代码示例、收费与平台支持细节,暂未提供。