SuperAPI AI 工具集

MOSS-TTSD

MOSS-TTSD 是 OpenMOSS 开源的文本转口语对话生成模型,属于 MOSS-TTS 家族,专注于长篇多说话人对话合成。它支持 1 至 5 位说话人的灵活控制、自然轮替与重叠语音,单次会话可生成最长 60 分钟连贯音频,并保持说话人身份一致。模型具备零样本语音克隆能力,仅需短参考音频即可克隆音色,支持中文、英文、日文及欧洲语言等 20 种语言。适用于 AI 播客、有声书、体育解说、配音、相声等场景,采用 Apache 2.0 许可,并提供 SGLang 加速推理与微调代码。

访问官网

工具介绍

MOSS-TTSD 是 MOSS-TTS 家族中专注于长篇对话合成的开源模型,目标是从“文本转语音”转向“剧本转对话”。它面向需要多说话人、长时间连续输出的内容创作与开发场景。

用途 MOSS-TTSD 用于将静态对话脚本转换为富有表现力的口语表演,适合 AI 播客、有声书、体育/电竞解说、配音、相声等需要多说话人交互的长篇内容。它强调对话节奏、情感细节和说话人身份的连续性,而非单句朗读。

主要能力

  • 多说话人支持:支持 1 至 5 位说话人,可灵活控制,处理自然轮替、重叠语音模式,并维持不同人设。
  • 超长上下文建模:单次会话可生成最长 60 分钟连贯音频,保持身份一致。
  • 多场景适配:针对对话媒体(AI 播客)、动态解说(体育/电竞)、娱乐(有声书、配音、相声)等高变化场景微调。
  • 多语言与零样本克隆:支持 20 种语言,包括中文、英文、日文及欧洲语言;零样本语音克隆仅需短参考音频,具备跨语言表现。
  • 推理加速:支持 SGLang 推理引擎,官方称可加速最高 16 倍;v1.0 支持端到端 SGLang 推理。
  • 微调支持:v0.5 起开源微调代码,支持全参数微调、LoRA 微调和多节点训练。
  • 流式推理:v0.5 起支持流式推理。
  • 32 kHz 输出:v0.7 起支持 32 kHz 高质量输出,并延长单次生成长度(960 秒至 1700 秒)。

使用方式 安装需使用 pip 和 conda 配置环境。模型采用延续工作流:为每位说话人提供参考音频及其转录文本作为前缀,再提供待生成的对话文本,模型会延续各说话人的身份。 批量推理可使用提供的推理脚本,脚本自动使用所有可见 GPU,可通过 export CUDA_VISIBLE_DEVICES=<device_ids> 控制 GPU 可见性。主要参数包括:--model_path(MOSS-TTSD 路径或 HuggingFace ID)、--codec_model_path(MOSS-Audio-Tokenizer 路径或 ID)、--input_jsonl(输入 JSONL 文件)、--save_dir(输出目录)、--mode(generation、continuation、voice_clone、voice_clone_and_continuation,推荐 voice_clone_and_continuation)、--batch_size(默认 1)、--max_new_tokens(控制生成音频长度,1 秒约 12.5 token)、--temperature(默认 1.1)、--top_p(默认 0.9)、--top_k(默认 50)、--repetition_penalty(默认 1.1)、--text_normalize(建议始终启用)、--sample_rate_normalize(使用 2 个及以上说话人时建议启用)。 输入 JSONL 每行一个 JSON 对象,支持 1 至 5 位说话人,文本中使用 [S1]–[S5] 标签,并为每位说话人提供 prompt_audio_speakerN / prompt_text_speakerN 对。 SGLang 加速:v1.0 支持使用 OpenMOSS 深度扩展的 SGLang 运行融合后的 MOSS-TTSD 与 MOSS-Audio-Tokenizer 模型。需先克隆兼容分支,下载 MOSS-TTSD-v1.0 和 MOSS-Audio-Tokenizer,运行融合命令生成单目录模型,再启动推理服务。首次启动可能因编译耗时较长,看到“The server is fired up and ready to roll!”即就绪。服务 API 兼容标准多模态文本生成接口,返回 JSON 的 text 字段包含 base64 编码的 WAV 音频。仓库提供最小请求示例脚本,默认向 http://localhost:30000/generate 发送请求,使用仓库内 asset/reference_02_s1.wav 和 asset/reference_02_s2.wav 作为参考音频,输出保存至 outputs/output.wav。

适用场景 AI 播客制作、有声书、体育/电竞解说、配音、相声、多语言戏剧等长篇多说话人内容。社区项目包括 ComfyUI-MOSS-TTS(ComfyUI 扩展)、MOSS-TTS-OpenAI(OpenAI 兼容 TTS API)、AnyPod(以 MOSS-TTS/MOSS-TTSD 为后端的播客生成工具)。

限制与说明 模型采用 Apache 2.0 许可。官方明确禁止未经授权的语音克隆、冒充、欺诈、诈骗、深度伪造或任何非法活动,使用者需遵守当地法律法规与伦理标准。开发者对滥用不承担责任。评估方面,客观评估使用 MMS-FA 进行词级对齐和话语分割,使用 wespeaker 提取嵌入以计算说话人归属准确率(ACC)和说话人相似度(SIM);主观评估对开源模型按说话人归属准确率、语音相似度、韵律和整体质量打分并计算 Elo 评级,对闭源模型计算胜率。具体硬件要求、价格与收费信息暂未提供。