SuperAPI AI 工具集

dialogue-audio

智能体与模型

查看项目

更新于 10-16 10:13

技能介绍

用途

dialogue-audio 用于创建逼真的多说话人对话音频,基于 Dia TTS,通过 inference.sh 命令行工具(belt CLI)调用生成。适合需要双人对话语音的内容场景,例如播客、访谈、教程讲解和讨论类音频。

主要能力

说话人标签

Dia TTS 使用 [S1] 和 [S2] 区分两位说话人:

  • 标签必须大写,使用 [S1] 而非 [s1]
  • 每轮发言人必须以标签开头
  • 单次生成最多支持 2 位说话人
  • 同一会话内每位说话人音色保持一致
  • 支持的最大说话人数、可用音色列表等暂未提供

情感与表达控制

通过标点符号控制表达:

  • 句号 .:中性、陈述、中等停顿
  • 感叹号 !:强调、兴奋、能量
  • 问号 ?:升调、疑问
  • 省略号 ...:犹豫、拖尾、长停顿
  • 逗号 ,:短暂换气停顿
  • 破折号 — 或 --:打断或转折

支持非语音提示(括号描述):

  • (laughs) 笑声
  • (sighs) 无奈或释然
  • (clears throat) 引起注意的停顿
  • (whispers) 更柔和的语气
  • (gasps) 惊讶

节奏控制

停顿层级:

  • 逗号约 0.3 秒,用于分句、列表项之间
  • 句号约 0.5 秒,用于句子之间
  • 省略号约 1.0 秒,用于戏剧性停顿、思考、犹豫
  • 新说话人标签约 0.3 秒,用于自然的轮流发言间隔

语速影响方式:短句感觉更快;带逗号的长句显得从容、深思;问句接回答形成互动节奏。

对话结构模式

文档给出了访谈、教程/讲解、辩论/讨论三类示例结构,均以 [S1]/[S2] 交替的 prompt 形式呈现。

后期处理

  • 音量归一化:通过 infsh/video-audio-merger 合并,audio_volume 控制音量
  • 添加背景/音乐:通过 infsh/media-merger 合并对话与背景音乐
  • 长对话分段:超过约 30 秒的对话按片段生成,再用 infsh/media-merger 合并

脚本写作建议

应当如何写:按人说话的方式写、短句(少于 15 词)、使用缩写(can't、won't)、自然填充词(So、Well)、变化句长、加入反应(Exactly!、Hmm.)、生成前朗读一遍。 应避免:按书面语写、长学术句、正式表达(cannot、will not)、每句都完美成形、句长一致、单向独白、直接假设听起来没问题。

常见错误

  • 独白超过 3 句:听起来像讲课而非对话,应拆成来回交流
  • 无情感变化:平淡机械,应使用标点和非语音提示
  • 缺少说话人标签:声音不会交替,应以 [S1] 或 [S2] 开头
  • 正式书面语:听起来不自然,应使用缩写和短句
  • 话题之间无停顿:显得仓促,应使用省略号或场景切换
  • 能量一致:单调,应在高/低能量之间变化

使用方式

先安装 belt CLI 技能:

npx skills add belt-sh/cli

登录:

belt login

两人对话生成示例:

belt app run falai/dia-tts --input '{
  "prompt": "[S1] Have you tried the new feature yet? [S2] Not yet, but I heard it saves a ton of time. [S1] It really does. I cut my workflow in half. [S2] Okay, I am definitely trying it today."
}'

带情感表达的示例:

belt app run falai/dia-tts --input '{
  "prompt": "[S1] Guess what happened today! [S2] What? Tell me! [S1] We hit ten thousand users! [S2] (gasps) No way! That is incredible! [S1] I know... I still cannot believe it."
}'

后期合并示例:

belt app run infsh/video-audio-merger --input '{
  "video": "talking-head.mp4",
  "audio": "dialogue.mp3",
  "audio_volume": 1.0
}'

相关技能

npx skills add inference-sh/skills@elevenlabs-dialogue
npx skills add inference-sh/skills@text-to-speech
npx skills add inference-sh/skills@ai-podcast-creation
npx skills add inference-sh/skills@ai-avatar-video

浏览所有应用:belt app list

限制

关于支持语言、生成音频格式、生成时长上限、调用配额与费用、Dia TTS 与 ElevenLabs 的具体差异等,资料暂未提供。