ChatTTS

ChatTTS 是一个生成式语音模型，专为日常对话场景设计，例如 LLM 助手。该仓库包含算法基础设施和一些简单示例；扩展的终端用户产品可参考社区维护的 Awesome-ChatTTS 索引仓库。

主要能力：ChatTTS 针对对话式任务进行了优化，可合成自然且富有表现力的语音，支持多说话人，便于进行交互式对话。模型能够预测和控制细粒度的韵律特征，包括笑声、停顿和感叹词。在韵律方面，ChatTTS 超越了大多数开源 TTS 模型。提供预训练模型以支持进一步的研究与开发。

数据集与模型：发布的模型仅用于学术目的。主模型使用超过 10 万小时的中英文音频数据训练。HuggingFace 上的开源版本是一个 4 万小时预训练模型，未经过 SFT。开源内容包括 4 万小时基础模型和 spk_stats 文件、流式音频生成、DVAE 编码器和零样本推理代码、多情感控制。ChatTTS.cpp 是新仓库（欢迎在 2noise 组织下建立）。

许可与伦理：代码采用 AGPLv3+ 许可发布，模型采用 CC BY-NC 4.0 许可发布，旨在用于教育和研究，不得用于任何商业或非法目的。作者不保证信息的准确性、完整性或可靠性。仓库中使用的信息和数据仅用于学术和研究目的，数据来自公开来源，作者不对数据主张任何所有权或版权。ChatTTS 是一个强大的文本转语音系统，但负责任和合乎伦理地使用该技术非常重要。为限制 ChatTTS 的使用，在训练 4 万小时模型时添加了少量高频噪声，并使用 MP3 格式尽可能压缩音频质量，以防止恶意行为者可能将其用于犯罪目的。同时，内部训练了一个检测模型，并计划未来开源。

安装说明：请勿安装 TransformerEngine 适配，目前正在开发中，无法正常运行，仅用于开发目的。安装过程非常缓慢。请勿安装 FlashAttention-2，根据相关 issue，目前会降低生成速度，仅用于开发目的。支持的设备请参阅 Hugging Face 文档。执行命令时确保位于项目根目录下。音频将保存到 ./output_audio_n.mp3。可从 PyPI 安装稳定版，从 GitHub 安装最新版，或从本地目录以开发模式安装。

硬件需求：对于 30 秒的音频片段，至少需要 4GB GPU 内存。在 4090 GPU 上，每秒可生成约 7 个语义 token 对应的音频，实时因子（RTF）约为 0.3。

已知问题：这是自回归模型（如 bark 和 valle）通常会出现的问题，一般难以避免。可以尝试多次采样以找到合适的结果。在当前发布的模型中，唯一的 token 级控制单元是 [laugh]、[uv_break] 和 [lbreak]。未来版本可能会开源具有额外情感控制能力的模型。

致谢：bark、XTTSv2 和 valle 展示了自回归风格系统出色的 TTS 结果；fish-speech 揭示了 GVQ 作为 LLM 建模音频分词器的能力；vocos 被用作预训练声码器。特别感谢 wlu-audio lab 的早期算法实验，以及所有贡献者的努力。

支持语言：可参考 Bilibili 上的视频获取详细说明。主要支持中文和英文。