Whissle Gateway 是 Whissle 语音栈的自托管网关,将托管平台背后的同一引擎打包为可在自有基础设施上运行的组件。它本质上是一个反向代理,位于实时 WebRTC 语音管道与智能体运行时之前。
用途
- 为语音 AI 应用提供统一入口,前端(浏览器、电话、macOS、嵌入)通过 HTTPS 和 WebRTC 连接网关的 :9000 端口。
- 支持在自有基础设施上运行完整语音栈,或仅运行轻量后端并调用外部 API。
主要能力
- 流式语音识别(STT):带端点检测、噪声门和收件人门控,可通过 Deepgram / Sarvam API 或本地 Whissle ASR 实现。
- 推理与工具:智能体运行时支持自定义提示、知识库和真实工具(预订、记录、短信、Webhook),基于 Gemini 或 Claude。
- 文本转语音(TTS):支持情感和通话中语言切换,可选 Deepgram Aura、Sarvam、Cartesia、ElevenLabs 或本地 Kokoro。
- 虚拟形象(可选):通过 Simli 实现唇形同步视频,或客户端渲染,可按智能体接入或关闭。
- 隐私默认:添加本地模型服务后,音频、转录和结构化元数据不会离开网络;可替换托管数据库,自带密钥。
- 高级轮次控制:可选推测性工具预热、影子 LLM 草稿头、实时轮次完整性等,默认关闭,有文档且可逆。
使用方式
- 后端始终是小型无状态容器,不包含模型权重。
- 两种运行模式:
- 后端使用外部 API:STT/TTS/LLM/虚拟形象通过提供商 API 运行,仅需小型 VM 上的无状态容器。
- 后端 + 自有模型:运行独立的 Whissle 模型服务(ASR/TTS/视频)在自有机器或 GPU 上,并通过 MODELS_HOST 指向后端,音频和转录不出网络。
- 前端通过 HTTPS 和 WebRTC 连接网关 :9000 端口。
- 语音模型、LLM 和数据库均可插拔配置。
适用场景
- 需要自托管语音 AI 网关、对数据隐私和合规有要求的部署。
- 希望将语音识别、TTS、智能体运行时统一管理,并灵活替换各阶段组件的场景。
- 单机开发可使用容器内便利数据库,生产环境建议使用外部无状态数据库。
限制
- 网关本身不携带模型权重,需自带 LLM 密钥。
- 本地语音模型需额外部署 Whissle 模型服务。
- 具体定价、平台支持、性能指标等资料暂未提供。