用途:本技能介绍如何用 AI 数字人与唇形同步制作口播(talking head)视频,主要依托 inference.sh CLI(命令为 infsh)。
主要能力与工具:先用 falai/dia-tts 生成对白音频,再用 bytedance/omnihuman-1-5 或 1-0 生成口播视频;也可用 falai/pixverse-lipsync 对已有视频做快速唇形同步,用 falai/fabric-1-0 做布料动画。模型选择中 OmniHuman 1.5 适合多角色、手势与高质量,单片段约 30 秒;OmniHuman 1.0 适合单角色、较简单场景;PixVerse Lipsync 适合短片段。可叠加 infsh/caption-videos 添加字幕,超过 30 秒可分段生成后用 infsh/media-merger 拼接,OmniHuman 1.5 最多支持 2 个角色的对话。
必要用法:需先安装 inference.sh CLI 并执行 infsh login。基本流程为:infsh app run falai/dia-tts --input '{"prompt": "..."}' 生成音频,再 infsh app run bytedance/omnihuman-1-5 --input '{"image": "path/to/portrait.png", "audio": "path/to/dialogue.mp3"}' 生成视频。长视频可用 --no-wait 并行生成分段后合并。
肖像要求:正面居中、头肩构图、看向镜头、表情中性、面部清晰无遮挡、面部区域至少 512x512(建议 1024x1024 以上);背景可用纯色、柔焦、办公场景或去背透明。音频要求:无明显背景噪音、音量一致、采样率 44.1kHz 或 48kHz、MP3 128kbps+ 或 WAV。
适用场景:产品讲解、口播营销、虚拟主播、多角色对话等。
限制:单片段过长会降低质量,建议分段;低分辨率、侧脸、噪音音频、墨镜遮挡、光照不均会导致效果差;建议始终添加字幕。官方未提供的收费与价格等信息暂未提供。