NVIDIA NeMo Speech 是一个可扩展的生成式 AI 框架，面向从事语音模型研究的研究人员和 PyTorch 开发者，主要覆盖自动语音识别（ASR）、文本转语音（TTS）以及语音大模型（Speech LLM）等方向。其目标是通过复用现有代码和预训练模型检查点，帮助用户高效地创建、定制和部署新的 AI 模型。
主要能力与近期发布 该仓库已转向聚焦音频、语音和多模态大模型。资料中列出的重要发布包括：
- 2026-07：MagpieTTS v2607 发布，新增阿拉伯语、韩语、葡萄牙语 3 种语言，加上已有的英语、西班牙语、德语、法语、越南语、意大利语、中文、印地语、日语共 9 种语言。
- 2026-06：Nemotron-3.5-ASR-Streaming-0.6B 发布，支持 40 种语言，延迟可在 80ms 至 1s 之间控制，单张 H100 可支持 240 至 2400 路并发流，基于 cache-aware Fastconformer 架构。
- 2026-04：Parakeet-unified-en-0.6b 发布，单一模型同时支持高质量离线与流式（最低延迟 160ms）英文推理，并支持标点与大小写。
- 2026-03：Nemotron 3 VoiceChat 早期访问发布，基于 Nemotron Nano v2 LLM 骨干与 Nemotron 语音及 TTS 解码器，提供全双工、自然、可打断的低延迟对话。
- 2026-03：Nemotron-Speech-Streaming v2603 更新，使用更大、更多样的语料训练，在所有延迟模式下 WER 更低。
- 2026-03：MagpieTTS v2602 发布，支持 9 种语言。
- 2026-01：Nemotron-Speech-Streaming 发布，单一检查点让用户可在延迟-准确率帕累托曲线上选择最优点。
- 2026-01：MagpieTTS v2512 发布。
- 2025-08：Parakeet V3 与 Canary V2 发布，支持 25 种欧洲语言的语音识别与翻译。
- 2025-06：Canary-Qwen-2.5B 发布，在英文 Open ASR Leaderboard 上取得 5.63% WER 的纪录。
版本与容器 NeMo Speech 3.0 已作为 v3.0.0 发布，并提供于 26.07.00 NeMo Speech NGC 容器中。仓库拆分前的最后一个 NeMo 版本为 v2.7.3，提供于 26.04 NeMo NGC 容器中。
使用方式与安装 NeMo Speech 可与用户自行选择的 Python、PyTorch 和 CUDA 版本配合使用，最低要求为：Python 3.12 或以上；PyTorch 2.7 或以上（CPU、CUDA 等均可）；训练需要 NVIDIA GPU + CUDA，推理推荐使用。如果已有满足最低要求的 Python/PyTorch/CUDA 环境，NeMo Speech 会在其上安装而不替换原有环境。uv.lock 中固定并在官方容器中提供的版本组合为 Python 3.13、PyTorch 2.11 + CUDA 12.9 或 PyTorch 2.12 + CUDA 13.2，这些是官方主动测试和支持的组合，但并非硬性要求。
安装方式包括：
- 使用 uv 从源码安装（推荐）：将受支持的组合（Python 3.13、PyTorch 2.12、CUDA 13.2）安装到 .venv/ 中，并以可编辑模式安装 NeMo Speech。可加 --group test 安装测试套件，或加 --group docs 构建文档；通过 uv run <cmd> 运行工具，或用 source .venv/bin/activate 激活。在 Linux 上，cu12 与 cu13 互斥，只能传其中一个（默认 cu13）。要精确复现容器基线，可加 --locked --python 3.13。
- Docker（开箱即用，官方支持组合）：最新预构建镜像为 26.07.00 NGC 容器。也可从源码构建容器（默认 CUDA 13 / H100+）；A100 可设置 GPU_TARGET=a100，A100 同时支持 CUDA 12 和 CUDA 13（推荐默认的 CUDA 13 基础镜像）。
- 从 PyPI 使用 pip 安装（回退方案，自带版本）：先安装自己的 PyTorch（任意 ≥ 2.7 的版本），再添加 NeMo Speech，原有构建会被保留。uv pip 与 pip 用法相同。注意：自带技术栈时不要使用 uv sync --locked，因为它会应用 uv.lock 并替换你的 Python/PyTorch/CUDA；如需拉取官方固定的 PyTorch 构建，可添加 CUDA extra 和匹配的 wheel 索引，并需使用 --extra-index-url。
关于 Automodel 后端：Automodel 后端无需任何编译依赖即可运行，也可选择使用专用加速后端（Transformer Engine、FlashAttention、Mamba、grouped-GEMM/MoE、DeepEP）以获得更好性能，这些源码构建的内核来自 compiled（Hopper/Blackwell）或 compiled-a100（A100）extras，由 docker/Dockerfile 构建（GPU_TARGET=h100plus / a100）。
注意事项 自 PyTorch 2.6 起，torch.load 默认使用 weights_only=True。部分模型检查点可能需要 weights_only=False，此时可在运行使用 torch.load 的代码前设置环境变量 TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1。但仅应对可信文件这样做，从不可信来源加载此类文件可能存在任意代码执行风险。
适用场景与限制 该框架适用于语音识别、语音合成、语音大模型及多模态相关的研究与开发，支持从预训练检查点出发进行定制和部署。技术文档见 NeMo Speech Developer Documentation。项目欢迎社区贡献，参见 CONTRIBUTING.md，采用 Apache License 2.0 许可。资料未提供具体收费、价格或商业授权细节。
