用途
dialogue-audio 用于创建逼真的多说话人对话音频,主要基于 Dia TTS(通过 inference.sh CLI 调用),并涉及 ElevenLabs。它覆盖说话人标签、情感控制、节奏、对话流程以及后期制作。
主要能力
- 双说话人对话:Dia TTS 使用 [S1] 和 [S2] 区分两位说话人,[S1] 自动分配声音 A,[S2] 自动分配声音 B。
- 情感与表达控制:通过标点符号(句号、感叹号、问号、省略号、逗号、破折号)以及括号内非语音提示(如 (laughs)、(sighs)、(clears throat)、(whispers)、(gasps))控制情感表达。
- 节奏控制:不同标点对应不同停顿长度(逗号约 0.3 秒、句号约 0.5 秒、省略号约 1.0 秒、新说话人标签约 0.3 秒),并通过句子长短控制语速感知。
- 对话结构模式:提供访谈、教程/讲解、辩论/讨论等结构示例。
- 后期制作:支持音量归一化、添加背景/音乐、将长对话分段生成后再合并。
使用方式
需先安装 inference.sh CLI(belt):
npx skills add belt-sh/cli
然后登录:
belt login
运行双说话人对话示例:
belt app run falai/dia-tts --input '{ "prompt": "[S1] Have you tried the new feature yet? [S2] Not yet, but I heard it saves a ton of time. [S1] It really does. I cut my workflow in half. [S2] Okay, I am definitely trying it today." }'
说话人标签规则:
- 每个说话人轮次必须以标签开头
- 标签必须大写:[S1] 而非 [s1]
- 每次生成最多 2 位说话人
- 每位说话人在同一会话中保持声音一致
后期制作示例:
与视频合并并平衡音量
belt app run infsh/video-audio-merger --input '{ "video": "talking-head.mp4", "audio": "dialogue.mp3", "audio_volume": 1.0 }'
与背景音乐合并
belt app run infsh/media-merger --input '{ "media": ["dialogue.mp3", "background-music.mp3"] }'
长对话(超过约 30 秒)建议分段生成后合并:
belt app run infsh/media-merger --input '{ "media": ["segment1.mp3", "segment2.mp3", "segment3.mp3"] }'
适用场景
- 播客与访谈节目
- 教程与讲解内容
- 辩论与讨论
- 需要双人对话的音频内容
限制
- 每次生成最多 2 位说话人。
- 说话人标签必须大写。
- 长对话建议分段生成。
- 需安装并登录 inference.sh CLI(belt)。
- 关于 ElevenLabs 的具体用法、收费、价格、平台与效果,资料中暂未提供。