SuperAPI AI 工具集

Whissle Gateway

Whissle Gateway 是一个自托管的语音 AI 网关,将语音识别、文本转语音、说话人分离、元数据与教练流程打包为本地 Docker 部署。它本身不包含模型权重,需自带 LLM 密钥,可在小型虚拟机上运行;如需语音模型本地化,可额外部署 Whissle 模型服务,实现音频与转录数据不出内网。

访问官网

工具介绍

Whissle Gateway 是 Whissle 语音栈的自托管网关,将托管平台背后的同一引擎打包为可在自有基础设施上运行的组件。它本质上是一个反向代理,位于实时 WebRTC 语音管道与智能体运行时之前。

用途

  • 为语音 AI 应用提供统一入口,前端(浏览器、电话、macOS、嵌入)通过 HTTPS 和 WebRTC 连接网关的 :9000 端口。
  • 支持在自有基础设施上运行完整语音栈,或仅运行轻量后端并调用外部 API。

主要能力

  • 流式语音识别(STT):带端点检测、噪声门和收件人门控,可通过 Deepgram / Sarvam API 或本地 Whissle ASR 实现。
  • 推理与工具:智能体运行时支持自定义提示、知识库和真实工具(预订、记录、短信、Webhook),基于 Gemini 或 Claude。
  • 文本转语音(TTS):支持情感和通话中语言切换,可选 Deepgram Aura、Sarvam、Cartesia、ElevenLabs 或本地 Kokoro。
  • 虚拟形象(可选):通过 Simli 实现唇形同步视频,或客户端渲染,可按智能体接入或关闭。
  • 隐私默认:添加本地模型服务后,音频、转录和结构化元数据不会离开网络;可替换托管数据库,自带密钥。
  • 高级轮次控制:可选推测性工具预热、影子 LLM 草稿头、实时轮次完整性等,默认关闭,有文档且可逆。

使用方式

  • 后端始终是小型无状态容器,不包含模型权重。
  • 两种运行模式:
    1. 后端使用外部 API:STT/TTS/LLM/虚拟形象通过提供商 API 运行,仅需小型 VM 上的无状态容器。
    2. 后端 + 自有模型:运行独立的 Whissle 模型服务(ASR/TTS/视频)在自有机器或 GPU 上,并通过 MODELS_HOST 指向后端,音频和转录不出网络。
  • 前端通过 HTTPS 和 WebRTC 连接网关 :9000 端口。
  • 语音模型、LLM 和数据库均可插拔配置。

适用场景

  • 需要自托管语音 AI 网关、对数据隐私和合规有要求的部署。
  • 希望将语音识别、TTS、智能体运行时统一管理,并灵活替换各阶段组件的场景。
  • 单机开发可使用容器内便利数据库,生产环境建议使用外部无状态数据库。

限制

  • 网关本身不携带模型权重,需自带 LLM 密钥。
  • 本地语音模型需额外部署 Whissle 模型服务。
  • 具体定价、平台支持、性能指标等资料暂未提供。