用途
dialogue-audio 用于创建逼真的多说话人对话音频,基于 Dia TTS,通过 inference.sh 命令行工具(belt CLI)调用生成。适合需要双人对话语音的内容场景,例如播客、访谈、教程讲解和讨论类音频。
主要能力
说话人标签
Dia TTS 使用 [S1] 和 [S2] 区分两位说话人:
- 标签必须大写,使用 [S1] 而非 [s1]
- 每轮发言人必须以标签开头
- 单次生成最多支持 2 位说话人
- 同一会话内每位说话人音色保持一致
- 支持的最大说话人数、可用音色列表等暂未提供
情感与表达控制
通过标点符号控制表达:
- 句号
.:中性、陈述、中等停顿 - 感叹号
!:强调、兴奋、能量 - 问号
?:升调、疑问 - 省略号
...:犹豫、拖尾、长停顿 - 逗号
,:短暂换气停顿 - 破折号
—或--:打断或转折
支持非语音提示(括号描述):
- (laughs) 笑声
- (sighs) 无奈或释然
- (clears throat) 引起注意的停顿
- (whispers) 更柔和的语气
- (gasps) 惊讶
节奏控制
停顿层级:
- 逗号约 0.3 秒,用于分句、列表项之间
- 句号约 0.5 秒,用于句子之间
- 省略号约 1.0 秒,用于戏剧性停顿、思考、犹豫
- 新说话人标签约 0.3 秒,用于自然的轮流发言间隔
语速影响方式:短句感觉更快;带逗号的长句显得从容、深思;问句接回答形成互动节奏。
对话结构模式
文档给出了访谈、教程/讲解、辩论/讨论三类示例结构,均以 [S1]/[S2] 交替的 prompt 形式呈现。
后期处理
- 音量归一化:通过 infsh/video-audio-merger 合并,audio_volume 控制音量
- 添加背景/音乐:通过 infsh/media-merger 合并对话与背景音乐
- 长对话分段:超过约 30 秒的对话按片段生成,再用 infsh/media-merger 合并
脚本写作建议
应当如何写:按人说话的方式写、短句(少于 15 词)、使用缩写(can't、won't)、自然填充词(So、Well)、变化句长、加入反应(Exactly!、Hmm.)、生成前朗读一遍。 应避免:按书面语写、长学术句、正式表达(cannot、will not)、每句都完美成形、句长一致、单向独白、直接假设听起来没问题。
常见错误
- 独白超过 3 句:听起来像讲课而非对话,应拆成来回交流
- 无情感变化:平淡机械,应使用标点和非语音提示
- 缺少说话人标签:声音不会交替,应以 [S1] 或 [S2] 开头
- 正式书面语:听起来不自然,应使用缩写和短句
- 话题之间无停顿:显得仓促,应使用省略号或场景切换
- 能量一致:单调,应在高/低能量之间变化
使用方式
先安装 belt CLI 技能:
npx skills add belt-sh/cli
登录:
belt login
两人对话生成示例:
belt app run falai/dia-tts --input '{
"prompt": "[S1] Have you tried the new feature yet? [S2] Not yet, but I heard it saves a ton of time. [S1] It really does. I cut my workflow in half. [S2] Okay, I am definitely trying it today."
}'
带情感表达的示例:
belt app run falai/dia-tts --input '{
"prompt": "[S1] Guess what happened today! [S2] What? Tell me! [S1] We hit ten thousand users! [S2] (gasps) No way! That is incredible! [S1] I know... I still cannot believe it."
}'
后期合并示例:
belt app run infsh/video-audio-merger --input '{
"video": "talking-head.mp4",
"audio": "dialogue.mp3",
"audio_volume": 1.0
}'
相关技能
npx skills add inference-sh/skills@elevenlabs-dialogue
npx skills add inference-sh/skills@text-to-speech
npx skills add inference-sh/skills@ai-podcast-creation
npx skills add inference-sh/skills@ai-avatar-video
浏览所有应用:belt app list
限制
关于支持语言、生成音频格式、生成时长上限、调用配额与费用、Dia TTS 与 ElevenLabs 的具体差异等,资料暂未提供。