用途:按“角色图像 → 逐轮 TTS 音频 → 逐轮头像视频 → 合并”的流水线,从零生成多人对谈谈口播播客视频。适用于播客、口播视频、演示样片、宣传对话等多说话人视频内容。
主要能力与流程:
- 角色创建:真人新形象可用 pruna/p-image(16:9,prompt_upsampling: true,但多次生成身份不一致);需跨镜头一致身份的真人用 phota/generate 搭配 [[profile_id]],需先用 phota/train 以 30-50 张人脸图训练,命令为 infsh app run phota/train --input '{"images": ["url1.jpg", "url2.jpg", ...], "wait": true}' --save profile.json,返回 profile_id 可长期复用;品牌吉祥物/插画风格用 google/gemini-3-pro-image-preview 传入 logo 与角色设定图。建议先生成多角度角色设定图,再放入播客场景。
- 角度:每角色至少生成 2 个角度(正面/中景、特写);特写提示“tight framing, chest up, shallow depth of field”。真人身份一致性须走 Phota,Gemini 不保脸。
- QA:生成视频前检查背景多余人、多支麦克风、错误 logo、身份不一致与异常伪影,因为视频是流水线最贵步骤。
- 脚本:写得像真实对话,含反应、打断与追问,长短轮次交替;按约 2.5 词/秒、1.05 倍速估算时长(15s≈38 词,30s≈75 词,60s≈150 词)。
- TTS:用 inworld/text-to-speech-2,命令 infsh app run inworld/text-to-speech-2 --input '{"text": "...", "voice_id": "...", "speaking_rate": 1.05, "audio_encoding": "MP3"}' --save output.json;建议先试听再定音色,语速默认 1.05,切勿低于 1.0。
- 视频:用 pruna/p-video-avatar,必须串行执行,并行会 CUDA OOM;单段约 15-90 秒。
- 合并:用 infsh/media-merger 拼接,fps 24、输出 mp4,免费,约 2-6 分钟。
限制与注意:Gemini 不保留真人面部身份;p-video-avatar 不可并行;语速不可低于 1.0;务必先 QA 再生成视频;个人说话镜头用紧构图避免出现空椅;生成品牌角色须把 logo 作为参考图传入;正式生产前先确认音色。可用 belt task cost <task-id> 查询单个任务成本。