Higgs Audio v2 是 Boson AI 发布的文本-音频基础模型，基于超过 1000 万小时音频数据和多样化文本数据预训练。据官方介绍，该模型在未经过后训练或微调的情况下，在表现力音频生成方面表现突出：在 EmergentTTS-Eval 的“Emotions”和“Questions”类别上，对“gpt-4o-mini-tts”的胜率分别为 75.7% 和 55.7%；在 Seed-TTS Eval 和 Emotional Speech Dataset（ESD）等传统 TTS 基准上达到当时最优性能。模型还展现出此前系统少见的能力，包括多语言自然多说话人对话生成、叙述时自动韵律适应、使用克隆声音哼唱旋律、同时生成语音和背景音乐，并支持多语言实时翻译。
本仓库 train-higgs-audio 是 Higgs Audio v2 的训练仓库，提供数据处理、训练和生成脚本。仓库包含教程视频和屏幕录制，展示如何使用训练与生成脚本。当前版本主要实现单说话人训练；多说话人训练部分在资料中提及但未展开具体步骤。新增语言训练为实验性功能，DDP 支持细节需参考 DDP_training.sh。仓库优化了输入参数，移除了不必要的误导性参数，采用官方数据类，并支持 LoRA 训练，16G 内存即可进行训练。同时提供 mini 训练集供使用。
使用方式方面，训练流程包括：准备符合要求的音频和文本数据，按 ms-swift 数据格式处理，运行脚本得到 metadata.json 格式数据，训练前修改各项参数（数据路径、模型路径、训练轮数等），然后执行训练。LoRA 微调需使用 --use_lora 参数。资料提示，使用 LoRA 微调新声音时可能出现无法正常输出的情况，该问题曾在越南语迁移微调中发现，原因尚不明确；根据以往经验，训练模型学习从未接触过的知识时，最好使用全量微调（--use_lora False）。
生成方面，仓库提供多个示例（位于 examples 目录），包括零样本声音克隆（生成与参考音频相似的声音）、单说话人智能语音生成（不指定参考声音时，模型根据转录文本决定声音）、多说话人对话智能语音生成、多说话人对话声音克隆。生成脚本在检测到 CUDA 可用时自动使用 cuda:0，可通过 --device_id 更改设备。官方建议为获得最佳性能，在至少 24GB 显存的 GPU 上运行生成示例。
技术细节上，Higgs Audio v2 采用架构图中的“generation variant”。其性能由三项关键技术创新驱动：一是自动化标注流水线，利用多个 ASR 模型、声音事件分类模型和自研音频理解模型，清洗并标注 1000 万小时音频数据（称为 AudioVerse），自研理解模型基于 Higgs Audio v1 Understanding 微调；二是从零训练统一音频分词器，同时捕捉语义和声学特征；三是提出 DualFFN 架构，以最小计算开销增强 LLM 对声学 token 的建模能力。
性能评估覆盖 Seed-TTS Eval、ESD、EmergentTTS-Eval 和多说话人评测。零样本 TTS 使用参考文本、参考音频和目标文本提示，采用 Seed-TTS Eval 和 ESD 的标准指标；EmergentTTS-Eval 报告对“gpt-4o-mini-tts”（alloy 声音）的胜率，评判模型为 Gemini 2.5 Pro，“†”表示使用论文中的强提示方法。多说话人评测基准包含三个子集：two-speaker-conversation（1000 段双人合成对话，固定两个参考音频，评估双声音克隆）、small talk (no ref)（250 段短对话，不固定参考音频，评估自动分配声音能力）、small talk (ref)（250 段更短对话，上下文中包含参考音频）。报告词错误率（WER）以及说话人内相似度与说话人间差异度的几何平均，并对比了 MoonCast 和 nari-labs/Dia-1.6B-0626。
限制与许可：当前仅实现单说话人训练；多说话人训练的具体实现未提供；LoRA 微调新语音可能失败，建议全量微调；生成需至少 24GB 显存 GPU（官方建议）；boson_multimodal/audio_processing/ 目录包含来自第三方仓库（主要来自 xcodec）的代码，许可信息见该目录 LICENSE。
