SuperAPI AI 工具集

wan-multitalk

设计与创作

查看项目

更新于 10-15 19:57

技能介绍

用途:MultiTalk(MeiGen-AI)根据音频驱动静态人像的唇形与头部动作,运行在 WAN 2.1 14B 图生视频模型上,通过 kijai 的 ComfyUI-WanVideoWrapper 实现。Wav2Vec 语音嵌入条件化 WAN 采样器,使嘴部与表情跟随语音,lightx2v 步数蒸馏 LoRA 将采样步数压到很少。适用于说话头、配音、单人说话头像片段(约 10 秒、480p)。注意它区别于 wan-animate(姿态/动作驱动),这里是音频到唇形同步,不是参考视频动作迁移。

主要能力与节点:核心节点包括 DownloadAndLoadWav2VecModel(首次运行自动下载 Wav2Vec 语音模型)、MultiTalkWav2VecEmbeds(把分离并裁剪后的语音转为嵌入)、MultiTalkModelLoader 与 WanVideoImageToVideoMultiTalk(在 WAN I2V 模型上加载 MultiTalk 头)。音频侧用 AudioSeparation 与 AudioCrop(audio-separation-nodes-comfyui)先分离人声并裁剪片段;图像用 ImageResizeKJv2(KJNodes)缩放,最后 VHS_VideoCombine(VideoHelperSuite)合成 mp4。

模型与用法:需要 WAN 2.1 14B I2V GGUF、MultiTalk 14B fp8、umt5_xxl_fp16、WAN VAE、clip_vision_h 以及 lightx2v 步数蒸馏 LoRA,分别放入对应目录。采样步数通常约 4 到 8,提高步数收益不大且更耗时;显存不足时用 WanVideoBlockSwap 增加换出到 CPU 的块数。480p 10 秒约需 8–12 GB 显存,低显存约 6–8.4 GB,720p 约 11–16 GB。可配合 --use-sage-attention 与相应 --*vram 启动参数,并预留显存给 Wav2Vec 与 VAE 往返。

限制:音频必须做人声分离,否则唇形会跟随错误信号;该图仅支持单人说话,多说话人需多嵌入变体(本包未含);Wav2Vec 首次运行需下载模型,首次渲染较慢;若唇形驱动不足,检查 MultiTalk 嵌入是否真正接入 WanVideoImageToVideoMultiTalk 且 AudioCrop 后音频非静音。官方文档暂未提供,参数与接线来自可用工作流与实测。