用途:提供纯 API 的实时语音对话能力,基于 xiaozhi-esp32-server 架构。支持两种模式:部署完整语音对话服务(服务端+客户端),或在新项目中嵌入语音对话客户端代码。核心链路为麦克风→Opus 编码→WebSocket→服务端[VAD→ASR→LLM→TTS]→Opus 音频流→扬声器,全链路支持打断。
主要能力:支持 50+ Provider 组合,涵盖 ASR(FunASR、DoubaoASR、AliyunASR、OpenaiASR、Qwen3ASRFlash 等)、LLM(ChatGLMLLM、DeepSeekLLM、OllamaLLM、GeminiLLM 等)、TTS(EdgeTTS、DoubaoTTS、OpenAITTS、GPT_SOVITS、QwenTTSClone 等)及 Memory(nomem、mem0ai、powermem、mem_local_short)。提供声音克隆,使用 DashScope Qwen-TTS 复刻,需 10~20 秒清晰人声音频。
使用方式:服务端需 Python 3.10+,macOS 执行 brew install opus portaudio ffmpeg,Linux 执行 apt install libopus-dev portaudio19-dev ffmpeg;克隆仓库后运行 bash ~/.claude/skills/realtime-voice-chat/scripts/setup_server.sh,编辑 data/.config.yaml 选择预设(china_free、china_quality、global_openai、local_ollama),再执行 python app.py,监听 ws://0.0.0.0:8000/xiaozhi/v1/。客户端可复制 voice_chat_client.py 并安装 websockets pyaudio opuslib 后运行,或使用 voice_chat_api.py 嵌入项目。
适用场景:搭建实时语音对话服务、为项目添加语音交互、完全离线运行(local_ollama 预设)、声音克隆。
限制:需自行准备各 Provider 的 API Key 或本地模型;音频参数固定为输入 16kHz 单声道 60ms、输出 24kHz 60ms、Opus 编码;realtime 全双工模式需 AEC;具体收费、价格与效果资料未提供。