parlor-on-device-ai
Parlor 是一个完全在本地运行的实时多模态 AI 语音与视觉助手。它结合 Gemma 4 E2B(通过 LiteRT-LM)进行语音和视觉理解,并使用 Kokoro TTS 输出语音,无需 API 密钥、不调用云端、无按次请求费用。系统由 FastAPI WebSocket 服务器驱动,浏览器端通过麦克风和摄像头采集音频 PCM 与 JPEG 帧,经 WebSocket 发送到服务器推理,再将流式音频块返回浏览器播放并显示转录文本。主要特性包括浏览器端 Silero VAD 实现免按键交互、支持打断(barge-in)、句子级 TTS 流式输出,以及根据平台自动选择 TTS 后端(Apple Silicon 用 MLX,Linux 用 ONNX)。运行需要 Python 3.12+、macOS Apple Silicon 或带受支持 GPU 的 Linux、约 3 GB 可用内存和 uv 包管理器。首次运行会自动下载模型(Gemma 4 E2B 约 2.6 GB,另加 TTS 模型)。