talking-head-production

用途

该技能用于制作“说话头像”（talking head）视频：用一张人像图片配合脚本或音频，借助 AI 头像与唇形同步（lipsync）生成人物开口说话的视频，并通过 inference.sh 的 belt CLI 调用云端模型完成。适合产品讲解、培训、多语言内容与视频配音等口播场景。

安装与前置

先安装：npx skills add belt-sh/cli，再登录：belt login。

使用方式

文本脚本直出视频（P-Video-Avatar，内置 TTS）：

belt app run pruna/p-video-avatar --input '{
  "image": "https://portrait.jpg",
  "voice_script": "Hi there! I am excited to share something with you today.",
  "voice": "Puck (Male)",
  "voice_language": "English (US)",
  "resolution": "720p"
}'

带风格控制（voice_prompt 控制语气，video_prompt 控制画面背景）：

belt app run pruna/p-video-avatar --input '{
  "image": "https://portrait.jpg",
  "voice_script": "This is exciting news for our community!",
  "voice": "Aoede (Female)",
  "voice_prompt": "Enthusiastic and energetic tone, slightly faster pace",
  "video_prompt": "The person is presenting on stage with dramatic lighting",
  "resolution": "1080p"
}'

自定义音频驱动（可配任意模型）：

belt app run pruna/p-video-avatar --input '{
  "image": "https://portrait.jpg",
  "audio": "https://speech.mp3"
}'

belt app run bytedance/omnihuman-1-5 --input '{
  "image_url": "https://portrait.jpg",
  "audio_url": "https://speech.mp3"
}'

完整流程（先生成人像再生成头像视频）：

# 1. 生成人像
belt app run pruna/p-image --input '{
  "prompt": "professional headshot portrait of a young woman, neutral background, looking at camera, studio lighting, photorealistic",
  "aspect_ratio": "9:16"
}'

# 2. 生成头像视频（内置 TTS）
belt app run pruna/p-video-avatar --input '{
  "image": "<image-url-from-step-1>",
  "voice_script": "Hi there! Let me walk you through our latest features.",
  "voice": "Zephyr (Female)"
}'

非 TTS 模型的分离 TTS 流程：先用 falai/dia-tts 生成语音，再用 bytedance/omnihuman-1-5 合成说话视频。

多角色对话（OmniHuman 1.5 支持最多 2 个角色）：先用 falai/dia-tts 以 [S1]/[S2] 标记生成两人对话音频，再把双人图与该音频传给 OmniHuman 1.5。

长视频（分片拼接）：内容超过约 60 秒时，用同一张人像分多段生成（加 --no-wait），再用 infsh/media-merger 合并。

多语言：P-Video-Avatar 内置 10 种语言（English (US)、English (UK)、Spanish、French、German、Italian、Portuguese (Brazil)、Japanese、Korean、Hindi）。示例给出西班牙语 voice_language: "Spanish"、日语 voice_language: "Japanese" 的调用。

视频配音（Dub）：先用 infsh/fast-whisper-large-v3 转写原视频，再翻译文本、用 infsh/kokoro-tts 生成新语言语音，最后用 infsh/latentsync-1-6 对原视频做唇形同步。

人像要求

资料强调源图质量直接决定输出质量，必须满足：居中构图、头肩取景（胸部以下裁切）、眼睛正视镜头、表情中性（可微笑但不大笑/皱眉）、面部清晰（无墨镜、重阴影或遮挡）、高分辨率（面部区域至少 512x512，推荐 1024x1024 以上）。背景可选纯色、柔和虚化、办公室/影棚，P-Video-Avatar 可用 video_prompt 设置动态背景。生成人像示例：

belt app run pruna/p-image --input '{
  "prompt": "professional headshot portrait of a friendly business person, soft studio lighting, clean grey background, head and shoulders, direct eye contact, neutral pleasant expression, photorealistic",
  "aspect_ratio": "9:16"
}'

音频质量（非 TTS 工作流）

背景噪声：无或极少；音量：全程一致；采样率：44.1kHz 或 48kHz；格式：MP3 128kbps+ 或 WAV。

可用语音（P-Video-Avatar）

女声：Zephyr、Kore、Leda、Aoede、Callirrhoe、Autonoe、Despina、Erinome、Laomedeia、Achernar、Gacrux、Pulcherrima、Vindemiatrix、Sulafat。

男声：Puck、Charon、Fenrir、Orus、Enceladus、Iapetus、Umbriel、Algenib、Algieba、Schedar、Achird、Zubenelgenubi、Sadachbia、Sadaltager、Alnilam、Rasalgethi。

构图指南

眼睛位于画面上方 1/3 线，头部留白尽量少，头肩可见，胸部以下裁切。

常见错误

低分辨率人像导致面部模糊与唇形差；侧面/侧脸角度导致口型难跟踪；音频有噪声导致同步漂移；片段过长导致质量下降（应分片拼接）；墨镜或遮挡会隐藏面部特征；光照不一致在动画化时显得不自然。

适用场景与限制

适用于口播讲解、产品演示、多语言与配音等。限制包括：依赖 inference.sh 账号与 CLI；每段时长约 60 秒以上建议分段；多角色最多 2 个（OmniHuman 1.5）；速度与成本随模型不同差异明显，资料未提供配额、退款或长期可用性信息。相关技能可通过如下命令安装：

npx skills add inference-sh/skills@p-video-avatar
npx skills add inference-sh/skills@ai-avatar-video
npx skills add inference-sh/skills@ai-video-generation
npx skills add inference-sh/skills@text-to-speech
npx skills add inference-sh/skills@ai-image-generation

浏览全部应用：belt app list。

技能介绍

用途