SuperAPI AI 工具集

TTS

🐸TTS(TTS)是 Coqui AI 开源的深度学习文本转语音(Text-to-Speech)工具包,已在研究与生产环境中经过验证。它提供预训练模型、训练与微调工具、数据集分析工具,支持多说话人 TTS、语音转换和声音克隆。新版本包括支持 16 种语言的 XTTSv2、可低于 200ms 延迟的流式合成,以及 Bark、Tortoise 等模型。代码库模块化,同时提供命令行与 Python API 使用方式。

访问官网

工具介绍

🐸TTS 是一个用于高级文本转语音生成的深度学习工具包,由 Coqui AI 开源,已在研究与生产中得到验证。

用途: 主要用于将文本合成为语音,并提供训练新模型、微调已有模型、分析语音数据集的能力。适合研究人员、开发者和需要构建 TTS 应用的生产团队。

主要能力:

  • 提供超过 1100 种语言的预训练模型。
  • 支持训练新模型与微调现有模型,可使用任意语言。
  • 提供数据集分析与整理工具(位于 dataset_analysis 目录)。
  • 支持多说话人 TTS,可通过 speaker_id 选择说话人。
  • 支持语音转换:可将源音频转换为目标音频的音色,也可用于声音克隆。
  • 模型涵盖 Text2Spec(Tacotron、Tacotron2、Glow-TTS、SpeedySpeech、Align-TTS、FastPitch、FastSpeech、FastSpeech2、SC-GlowTTS、Capacitron、OverFlow、Neural HMM TTS、Delightful TTS 等)、声码器(MelGAN、Multiband-MelGAN、GAN-TTS、ParallelWaveGAN、WaveGrad、WaveRNN 等)、端到端模型(YourTTS、Tortoise、Bark)以及说话人编码器。
  • 新特性:XTTSv2 支持 16 种语言,整体性能更好;XTTS 微调代码已发布;XTTS 支持流式输出,延迟低于 200ms;XTTS 生产模型可讲 13 种语言;Bark 支持无约束声音克隆推理;可使用约 1100 个 Fairseq 模型;Tortoise 支持更快推理。
  • 提供高效的训练流程、终端与 Tensorboard 详细训练日志、灵活轻量的 Trainer API。

使用方式:

  • 运行环境:在 Ubuntu 18.04 上测试,要求 Python >= 3.9 且 < 3.12。
  • 若仅使用已发布模型合成语音,可从 PyPI 安装;若需编码或训练模型,则克隆仓库并本地安装。官方提供了 Ubuntu/Debian 与 Windows 的安装说明,也可通过 Docker 镜像免安装使用。
  • 命令行工具:使用 tts 命令。例如 tts --text "Text for TTS" --out_path output/path/speech.wav 可生成语音;可通过 --model_name、--vocoder_name 选择模型;tts --list_models 列出可用模型;tts --model_info_by_name 或 --model_info_by_idx 查询模型信息;支持多说话人模型指定 --speaker_idx;可使用自训练模型通过 --model_path 与 --config_path 指定。
  • 也提供 Python API 进行语音合成与语音转换。
  • Fairseq 模型命名格式:tts_models/<lang-iso_code>/fairseq/vits。

适用场景: 语音合成研究与开发、生产环境 TTS 部署、多语言语音生成、多说话人语音系统、语音克隆与语音转换、自定义 TTS 模型训练与微调。

限制: 资料中未提供具体的价格与收费信息。性能对比图中带下划线的 “TTS*” 和 “Judy*” 是未开源的内部模型,仅用于展示潜力;以点开头的模型(.Jofish .Abe .Janice)对应真实人声。完整的安装细节(如 Windows 与 Docker 的具体命令)需参考官方链接。