用途:NVIDIA Speech NIM 将 ASR、TTS、NMT 模型以独立容器形式部署,应用通过 NIM API 调用,而非直接调用原始模型。适合转写、字幕、会议记录、语音智能体输入、旁白与本地化配音、文本翻译,以及 ASR→NMT→TTS 的语音到语音翻译流水线。全双工语音对话属于单独的 Nemotron VoiceChat 类模型,普通 ASR+TTS 不提供该能力。
主要能力:ASR 支持流式与离线模式,流式返回部分转写,离线处理完整文件;TTS 支持离线与流式合成,离线返回完整音频,gRPC 路径有 4 MB 消息限制,HTTP 合成返回 WAV,在线合成流式输出 16 位 LPCM,单请求文本上限 2000 个规范化字符;NMT 使用 Riva Translate 1.6b,支持 36 种语言任意互译,可用 <dnt> 标签或自定义词典控制术语。零样本语音克隆见于 Magpie TTS Zeroshot 与 Flow,需访问审批,参考音频建议 16 位单声道 WAV、22.05 kHz 以上、约 3-10 秒。
使用方式:HTTP REST 适合离线测试与文件处理,gRPC 适合流式与生产客户端,WebSocket 适合低延迟实时会话,ASR 连接 ws://<address>:9000/v1/realtime?intent=transcription,TTS 连接 ws://<address>:9000/v1/realtime?intent=synthesize。Python 客户端可执行 pip install -U nvidia-riva-client。部署时用 CONTAINER_ID 与 NIM_TAGS_SELECTOR 选择容器和配置,调用前先检查 /v1/health/ready。
限制:ASR、TTS、NMT 均要求 GPU 计算能力 8.0 以上、至少 16 GB 显存,推荐 Ubuntu 22.04 及以上、驱动 >= 535、NVIDIA Docker >= 23.0.1。生产自托管需确认 NVIDIA AI Enterprise 等许可;API Catalog 托管端点按资料属试用/原型用途。语音克隆须先确认声音权利与同意,否则应拒绝并改用替代方案。具体价格、性能指标与完整支持矩阵暂未提供。