用途:Chatterbox 是 Resemble AI 推出的文本转语音(TTS)与零样本/参考音色克隆模型家族,适用于需要表现力语音、本地或本地化部署、或 Resemble 托管 TTS 的生产场景。不应用于未经授权的名人冒充。使用任何参考音色前需确认合法权利与同意,并视其为生物特征类个人数据。
主要能力:本地/开源路线通过官方 resemble-ai/chatterbox GitHub 仓库与 Hugging Face 模型卡发布,MIT 许可,pip install chatterbox-tts 安装,暴露 ChatterboxTTS 与 ChatterboxMultilingualTTS 等 Python 类。托管路线使用 https://f.cluster.resemble.ai/synthesize 同步接口与流式 HTTP 接口,Authorization: Bearer YOUR_API_KEY 认证;托管模型含 Chatterbox、Chatterbox-Turbo(model 值 chatterbox-turbo)与 Chatterbox Multilingual,版本代码含 tts-v4、tts-v4-turbo。Multilingual V3 为 500M 参数多语言模型,另有单语言包微调。支持通过 audio_prompt_path 做零样本参考音色合成,本地可用 exaggeration 参数控制情感强度;Turbo 支持 [cough]、[laugh]、[chuckle]、[sigh]、[gasp]、[whisper]、[breath] 等副语言标签。同步接口接受文本或 SSML,上限 3000 字符,可返回 wav 或 mp3;流式接口上限 2000 字符,返回分块 WAV,模型版本页列出 Chatterbox 变体 2000 字符上限。输出默认带 PerTh 水印。
必要用法:本地零样本示例为 model.generate(script, audio_prompt_path="approved_reference_voice.wav", exaggeration=0.55, cfg_weight=0.45),再用 ta.save 保存;多语言需指定 language_id。托管调用示例:curl -X POST "https://f.cluster.resemble.ai/synthesize" -H "Authorization: Bearer $RESEMBLE_API_KEY" -H "Content-Type: application/json" -d '{...}',其中含 voice_uuid、data、model、output_format、precision、sample_rate、use_hd 字段。官方建议默认 exaggeration=0.5、cfg/cfg_weight=0.5;降低 cfg 至约 0.3 可改善快速参考说话人的节奏。
适用场景与限制:适合本地/离线控制、批量处理、托管流式语音代理、多语言本地化等。Turbo 仅支持 Rapid English 与 Pre Built 语音,不支持 Chatterbox Multilingual。V3 减少但未消除幻觉,不保证完美说话人身份或口音迁移。水印不可移除,也不可替代同意与披露。公开隐私材料称个人数据按服务需要保留,托管路线不默认零留存。托管克隆文档要求 10 秒以上数据,开放模型营销页称 5 秒参考克隆。语言清单在不同官方页面间不完全一致,使用前需按当前模型卡核实。定价、具体平台与效果等资料暂未提供。