用途:在 ComfyUI 工作流中为角色生成语音,并把语音与生成视频做口型同步,形成会说话的角色视频。
主要能力:按是否有参考音频、是否需要情感控制、多语言、多说话人、口型同步等条件选择工具。自带决策树,例如有 5 秒以上参考音频可用 Chatterbox,10-15 秒可用 F5-TTS,10 分钟以上可用 RVC 训练;无参考音频时可用 IndexTTS-2 控情感、TTS Audio Suite 支持 23 种语言。口型同步方面 Wav2Lip 精度高,SadTalker 支持头部动作,LivePortrait 支持表情控制,InfiniteTalk 适合长视频。
使用方式:为每个角色在 projects/{project}/characters/{name}/profile.yaml 建立声音配置;脚本中用 [CharacterName]、[pause:1s]、[laugh] 等标签控制说话人、停顿和语气;音频需转为单声道 16-24kHz WAV、去头尾静音、加 0.2s 尾部静音并归一化,可用 ffmpeg 处理。给出三条典型管线:快速流程(文本→TTS→SadTalker→增强)、质量流程(TTS→Wan I2V→Wav2Lip→FaceDetailer)、高级流程(LivePortrait 表情迁移→Wav2Lip→CodeFormer)。
限制:Chatterbox 生成上限约 40 秒需分段;F5-TTS 参考音频需配同名 .wav 与 .txt 转写;Wav2Lip 输出必须配合 CodeFormer 后处理;ElevenLabs 为商业服务。部分工具与参数细节需查阅技能内 references 文档。