Seed-TTS 是一个高质量、多功能的语音生成模型系列，由字节跳动提出。根据其技术报告，该模型旨在生成与人类语音几乎无法区分的语音，并作为语音生成的基础模型。
用途方面，Seed-TTS 主要用于文本到语音（TTS）生成，同时具备语音上下文学习能力。它能够为任意说话人生成语音，并支持对情感等语音属性进行控制，生成富有表现力和多样化的语音。
主要能力包括：
- 零样本上下文学习：在说话人相似度和自然度上，客观与主观评估均达到与真实人类语音匹配的水平。
- 说话人微调：经过微调后，在这些指标上可获得更高的主观评分。
- 语音分解：提出了一种自蒸馏方法用于语音分解。
- 偏好偏置：通过强化学习方法增强模型的鲁棒性、说话人相似度和可控性。
- 完全基于扩散的语音生成：提出了非自回归变体 Seed-TTS DiT，采用完全基于扩散的架构，不依赖预估计的音素时长，通过端到端处理进行语音生成，在客观和主观评估中达到与基于语言模型的变体相当的性能，并可用于语音编辑。
系统流程方面，Seed-TTS 推理管道包括四个步骤：
- 语音分词器从参考语音中学习标记。
- 自回归语言模型基于条件文本和语音生成语音标记。
- 扩散变换器模型以从粗到细的方式，根据生成的语音标记生成连续的语音表示。
- 声码器从扩散输出中生成更高质量的语音。
使用方式、适用场景和限制：资料中未提供具体的使用步骤、安装命令、适用场景的详细说明以及模型的限制信息。
