FireRedTTS2 是 FireRedTeam 发布的官方 PyTorch 代码实现,论文标题为《FireRedTTS-2: Towards Long Conversational Speech Generation for Podcast and Chatbot》,定位为面向多说话人对话生成的长格式流式 TTS 系统,目标是提供稳定、自然、具备可靠说话人切换与上下文感知韵律的语音。
用途方面,它主要用于长对话语音生成,典型场景包括播客生成与聊天机器人语音交互。官方说明其当前支持 3 分钟、4 位说话人的对话,并可通过扩展训练语料较容易地扩展到更长对话与更多说话人。
主要能力包括:多语言支持,覆盖英语、中文、日语、韩语、法语、德语和俄语,并支持跨语言与代码切换场景的零样本声音克隆;超低延迟,基于新的 12.5Hz 流式语音分词器,采用在文本—语音交错序列上运行的双 Transformer 架构,支持灵活的逐句生成,官方称在 L20 GPU 上首包延迟低至 140ms,同时保持高质量音频输出;稳定性方面,官方称模型在独白与对话测试中均实现高相似度与低 WER/CER;随机音色生成,可用于创建 ASR/语音交互数据。
使用方式上,项目提供预训练检查点与推理代码,并包含 Web UI 工具,支持通过易用的网页界面进行对话生成,界面同时支持声音克隆与随机音色。对话生成支持流式模式,官方说明每个音频块为 0.08 秒,首块略短、末块略长。安装步骤包括克隆仓库、使用 Conda 创建 Python 3.11 环境、安装 PyTorch 2.7.1 及 torchvision、torchaudio 对应版本、安装依赖,或使用 Docker 构建与运行;模型下载通过 git lfs 从 Hugging Face 克隆到 pretrained_models/FireRedTTS2。项目还提供基于 LJSpeech 数据集的完整微调代码与教程,可适配多语言甚至对话数据集,并给出端到端文本到播客的流程。
版本更新方面,2025/09/02 发布技术报告与演示页;2025/09/08 发布预训练检查点与推理代码;2025/09/12 为对话生成添加 UI 工具;2025/09/28 支持 bf16 推理,显存占用从 14GB 降至 9GB,可在消费级 GPU 部署;2025/10/11 支持流式对话生成;2025/10/26 发布完整微调代码与教程。
限制与注意事项:项目包含零样本声音克隆功能,官方明确该能力仅用于学术研究目的,禁止用于任何非法活动,开发者对滥用不承担责任,并鼓励报告滥用、误用或欺诈行为。演示中使用的特定播客主播声音未经授权不得使用。关于收费、价格、平台支持范围等更多信息,资料中暂未提供。