SuperAPI AI 工具集

VyvoTTS

VyvoTTS 是一个基于 LLM 的文本转语音训练框架,通过让大语言模型生成交错的音频编解码器 token,再将其解码为音频波形来实现语音合成。该框架支持 SNAC 和 Mimi 两种音频编解码器,提供数据集准备、预训练、微调、质量对齐与 WER 后训练等完整流程,并支持多 GPU FSDP 训练。

访问官网

工具介绍

VyvoTTS 是一个基于 LLM 的文本转语音(TTS)训练框架,由 Vyvo-Labs 开发并开源在 GitHub 上。其核心思路是让大语言模型生成交错的音频编解码器 token,再将这些 token 解码为音频波形,从而完成从文本到语音的转换。

主要能力方面,VyvoTTS 支持 SNAC 和 Mimi 两种音频编解码器。框架提供四种后端,且所有后端共享同一接口,用户只需更改导入即可切换后端。项目还提供了基于 Qwen3-1.7B 和 H100 PCIe 的基准测试。

使用方式上,VyvoTTS 覆盖了从数据准备到模型训练与生成的完整流程。数据集准备支持标准数据集 tokenization 以及大规模 Emilia 数据集 tokenization,并支持两个 Emilia 数据源:ylacombe/emilia-subset(339 万条英文样本,基于 parquet)和 amphion/Emilia-Dataset(Emilia + Emilia-YODAS 英文,基于 tar)。预训练支持多 GPU FSDP,可在 vyvotts/configs/train/lfm2_5_pretrain.yaml 中配置模型、tokenizer、编解码器类型、数据集路径(本地或 HuggingFace)以及 QA:TTS 比例调度(2:1 到 1:1)。单说话人微调支持自动 tokenization,整个流水线涵盖下载、使用编解码器 tokenize、训练以及生成测试 wav 文件,完整指南见 FINETUNE.md。此外,框架还支持 codebook-aware SFT、偏好对齐和在线 RL,用于质量对齐和 WER 后训练,训练指南中提供了示例,实验报告中提供了完整协议与结果。完整训练可通过 accelerate 进行。

适用场景包括需要基于 LLM 构建文本转语音系统的研究与开发工作,尤其是涉及大规模数据集训练、多 GPU 训练、单说话人微调以及质量对齐和 WER 优化的场景。

限制方面,当前资料未提供关于收费、价格、平台支持范围、具体效果指标或详细使用步骤的完整信息,部分内容需参考项目仓库中的配置文件与文档。