ai-avatar-video

用途

该技能用于通过 inference.sh CLI（belt）创建 AI 数字人（avatar）与说话头像（talking head）视频。核心方式是将一张肖像图片与文本脚本或音频结合，生成人物开口说话的视频。

主要能力

支持多个模型：
- P-Video-Avatar（pruna/p-video-avatar）：推荐首选，内置 TTS，支持 30 种声音、10 种语言、动态背景、1080p。速度约 1.83 秒/秒视频，成本 $0.025/秒。
- OmniHuman 1.5（bytedance/omnihuman-1-5）：适合多角色、音频驱动场景，无内置 TTS。速度约 28 秒/秒视频，成本 $0.16/秒。
- Fabric 1.0（falai/fabric-1-0）：图像说话加唇形同步，内置 TTS。速度约 34 秒/秒视频，成本 $0.14/秒。
- PixVerse Lipsync（falai/pixverse-lipsync）：高逼真唇形同步，无内置 TTS。
P-Video-Avatar 支持通过 voice_prompt 控制语气情绪，通过 video_prompt 控制画面风格与背景，输出宽高比与输入图片一致。
可结合其他应用完成完整工作流：用 pruna/p-image 生成肖像、用 inworld/text-to-speech-2 或 infsh/kokoro-tts 生成语音、用 infsh/fast-whisper-large-v3 转录、用 infsh/latentsync-1-6 对已有视频做唇形同步。

使用方式

需先安装 inference.sh CLI（belt），并执行 belt login 登录。

安装技能：

npx skills add belt-sh/cli

P-Video-Avatar 基础示例（内置 TTS）：

belt app run pruna/p-video-avatar --input '{
  "image": "https://portrait.jpg",
  "voice_script": "Hello, welcome to our product demo!",
  "voice": "Zephyr (Female)"
}'

带风格控制：

belt app run pruna/p-video-avatar --input '{
  "image": "https://portrait.jpg",
  "voice_script": "This is exciting news!",
  "voice": "Aoede (Female)",
  "voice_prompt": "Enthusiastic and energetic tone",
  "video_prompt": "The person is presenting on stage with dramatic lighting",
  "resolution": "1080p"
}'

使用音频文件代替 TTS：

belt app run pruna/p-video-avatar --input '{
  "image": "https://portrait.jpg",
  "audio": "https://speech.mp3"
}'

OmniHuman 1.5：

belt app run bytedance/omnihuman-1-5 --input '{
  "image_url": "https://portrait.jpg",
  "audio_url": "https://speech.mp3"
}'

Fabric 1.0：

belt app run falai/fabric-1-0 --input '{
  "image_url": "https://face.jpg",
  "audio_url": "https://audio.mp3"
}'

PixVerse Lipsync：

belt app run falai/pixverse-lipsync --input '{
  "image_url": "https://portrait.jpg",
  "audio_url": "https://speech.mp3"
}'

完整工作流示例：

生成肖像加数字人：先用 pruna/p-image 生成肖像，再用 pruna/p-video-avatar 生成视频。
非内置 TTS 模型的 TTS 加数字人：先用 inworld/text-to-speech-2 生成语音，再用 bytedance/omnihuman-1-5 生成视频。
视频配音到另一种语言：用 infsh/fast-whisper-large-v3 转录，翻译文本，用 infsh/kokoro-tts 生成新语音，再用 infsh/latentsync-1-6 对原视频做唇形同步。
UGC 内容生成：用 pruna/p-image 生成 UGC 风格肖像，再用 pruna/p-video-avatar 生成视频。
批量 UGC：同一产品、多个主持人，通过循环不同 voice 参数生成多条视频。

适用场景

UGC 与营销：产品演示、AI 主持人 UGC 风格广告
教育：课程视频、讲解视频
本地化：从一张图片生成 10 种语言的内容
社交媒体：一致的虚拟网红内容
企业：培训视频、公告
游戏：角色头像、NPC 对话

限制与提示

需先安装并登录 inference.sh CLI（belt）。
建议使用高质量正面、光线良好的肖像照片；音频应清晰、背景噪音少。
P-Video-Avatar 输出宽高比与输入图片一致；竖版视频建议用 pruna/p-image 以 9:16 比例生成肖像。
OmniHuman 1.5 支持一张图片中多个人物，并可指定驱动哪个角色。
LatentSync 最适合将已有视频同步到新音频。
非内置 TTS 的模型（OmniHuman、PixVerse）需先生成语音。
相关技能安装命令：
- npx skills add inference-sh/skills@p-video-avatar
- npx skills add inference-sh/skills@infsh-cli
- npx skills add inference-sh/skills@text-to-speech
- npx skills add inference-sh/skills@speech-to-text
- npx skills add inference-sh/skills@ai-video-generation
- npx skills add inference-sh/skills@ai-image-generation
浏览所有视频应用：belt app list --category video

技能介绍

用途

主要能力

使用方式

适用场景

限制与提示