Qwen3-TTS 是由阿里云通义千问（Qwen）团队开发的开源语音合成（TTS）模型系列。官方资料称其支持稳定、富有表现力且可流式输出的语音生成，同时具备自由语音设计（Voice Design）与逼真语音克隆（Voice Clone）能力，面向开发者与用户提供较为广泛的语音生成功能。
用途与主要能力
- 语音合成：支持高质量、类人的语音生成，以及基于自然语言的语音控制。
- 语音克隆：提供参考音频与对应文本即可克隆音色并合成新内容。
- 语音设计：通过自然语言指令描述目标音色，生成符合描述的语音。
- 流式生成：基于 Dual-Track 混合流式生成架构，单一模型同时支持流式与非流式生成；官方资料称输入单个字后即可立即输出首个音频包，端到端合成延迟低至 97ms。
- 多语言支持：覆盖中文、英语、日语、韩语、德语、法语、俄语、葡萄牙语、西班牙语、意大利语 10 种主要语言，并提供多种方言音色。
- 智能文本理解：模型具备较强的上下文理解能力，可根据指令与文本语义自适应控制语调、语速和情感表达，并对含噪输入文本的鲁棒性有明显提升。
关键技术特性（据官方介绍）
- 强大的语音表征：基于自研的 Qwen3-TTS-Tokenizer-12Hz，实现高效的声学压缩与高维语义建模，保留副语言信息与声学环境特征，通过轻量非 DiT 架构实现高速、高保真语音重建。
- 通用端到端架构：采用离散多码本 LM 架构，实现全信息端到端语音建模，规避传统 LM+DiT 方案的信息瓶颈与级联误差。
- 极低延迟流式生成：单模型同时支持流式与非流式生成，满足实时交互场景需求。
- 智能文本理解与语音控制：支持由自然语言指令驱动的语音生成，可控制音色、情感、韵律等多维声学属性。
使用方式
- Python 包：可从 PyPI 安装 qwen-tts 包，官方建议使用全新的隔离环境（如 Python 3.12）以避免依赖冲突；如需本地开发或修改代码，可从源码以可编辑模式安装。
- 自定义语音生成：针对 Qwen3-TTS-12Hz-1.7B/0.6B-CustomVoice 模型，调用 generate_custom_voice，传入单个字符串或批量列表，以及 language、speaker 和可选的 instruct 参数；可通过 model.get_supported_speakers() 与 model.get_supported_languages() 查看当前模型支持的说话人与语言。
- 语音设计：针对 Qwen3-TTS-12Hz-1.7B-VoiceDesign 模型，使用 generate_voice_design 提供目标文本与自然语言 instruct 描述。
- 语音克隆：针对 Qwen3-TTS-12Hz-1.7B/0.6B-Base 模型，提供参考音频（ref_audio）及其转录文本（ref_text）；ref_audio 可为本地文件路径、URL、base64 字符串或 (numpy_array, sample_rate) 元组。若设置 x_vector_only_mode=True，则仅使用说话人嵌入，ref_text 非必需，但克隆质量可能下降。如需复用同一参考提示，可先用 create_voice_clone_prompt 构建，再通过 voice_clone_prompt 传入 generate_voice_clone。
- 语音设计后克隆：官方给出一种实用工作流——（1）用 VoiceDesign 模型合成一段符合目标人设的短参考音频；（2）将该音频传入 create_voice_clone_prompt 构建可复用提示；（3）调用 generate_voice_clone 并传入 voice_clone_prompt 生成新内容，无需每次重新提取特征。
- Tokenizer 编解码：Qwen3TTSTokenizer 支持对路径、URL、numpy 波形以及 dict/list 负载进行 encode/decode，可用于传输或训练等场景。
- 本地 Web UI 演示：安装 qwen-tts 包后运行 qwen-tts-demo 即可启动，随后访问 http://<your-ip>:8000。对于 Base 模型部署，官方建议/要求通过 HTTPS 运行 Gradio 服务，可使用 --ssl-certfile 与 --ssl-keyfile 参数；需先生成私钥与自签名证书（有效期 365 天），再以 HTTPS 启动演示。
- DashScope API：官方提供 DashScope API 作为更快速高效的体验方式。
- vLLM 部署：vLLM 官方提供对 Qwen3-TTS 的 day-0 支持，可使用 vLLM-Omni 进行部署与推理；官方资料称目前仅支持离线推理，在线服务将在后续支持。
- 微调：官方提供 Qwen3-TTS-Finetuning 相关说明。
模型规格与评估 已发布系列包含 0.6B 与 1.7B 规格，基于 Qwen3-TTS-Tokenizer-12Hz。评估时所有模型以 dtype=torch.bfloat16 运行，max_new_tokens=2048，其他采样参数使用 checkpoint 的 generate_config.json 默认值；Seed-Test 与 InstructTTS-Eval 测试集设置 language="auto"，其他测试集显式传入对应语言。官方资料列出了零样本语音生成、多语言语音生成、跨语言语音生成、可控语音生成、目标说话人多语言语音生成、长语音生成等多项评测结果，涉及 WER、SIM、APS、DSD、RP 等指标。
适用场景 可用于需要多语言、富有表现力的语音合成场景，包括语音克隆、语音设计、实时流式交互等；官方同时提供 Python 包、本地 Web UI、DashScope API 与 vLLM-Omni 等多种使用与部署途径。
限制与暂未提供的信息 官方资料提到技术报告中提及的其他模型将在不久后发布；vLLM-Omni 目前仅支持离线推理，在线服务后续支持。关于收费、价格、商业使用条款等具体信息，当前资料暂未提供。
