SuperAPI AI 工具集

dialogue-audio

写作与研究

查看项目

更新于 10-16 05:57

技能介绍

用途

dialogue-audio 用于创建逼真的多说话人对话音频,主要基于 Dia TTS(通过 inference.sh CLI 调用),并涉及 ElevenLabs。它覆盖说话人标签、情感控制、节奏、对话流程以及后期制作。

主要能力

  • 双说话人对话:Dia TTS 使用 [S1] 和 [S2] 区分两位说话人,[S1] 自动分配声音 A,[S2] 自动分配声音 B。
  • 情感与表达控制:通过标点符号(句号、感叹号、问号、省略号、逗号、破折号)以及括号内非语音提示(如 (laughs)、(sighs)、(clears throat)、(whispers)、(gasps))控制情感表达。
  • 节奏控制:不同标点对应不同停顿长度(逗号约 0.3 秒、句号约 0.5 秒、省略号约 1.0 秒、新说话人标签约 0.3 秒),并通过句子长短控制语速感知。
  • 对话结构模式:提供访谈、教程/讲解、辩论/讨论等结构示例。
  • 后期制作:支持音量归一化、添加背景/音乐、将长对话分段生成后再合并。

使用方式

需先安装 inference.sh CLI(belt):

npx skills add belt-sh/cli

然后登录:

belt login

运行双说话人对话示例:

belt app run falai/dia-tts --input '{ "prompt": "[S1] Have you tried the new feature yet? [S2] Not yet, but I heard it saves a ton of time. [S1] It really does. I cut my workflow in half. [S2] Okay, I am definitely trying it today." }'

说话人标签规则:

  • 每个说话人轮次必须以标签开头
  • 标签必须大写:[S1] 而非 [s1]
  • 每次生成最多 2 位说话人
  • 每位说话人在同一会话中保持声音一致

后期制作示例:

与视频合并并平衡音量

belt app run infsh/video-audio-merger --input '{ "video": "talking-head.mp4", "audio": "dialogue.mp3", "audio_volume": 1.0 }'

与背景音乐合并

belt app run infsh/media-merger --input '{ "media": ["dialogue.mp3", "background-music.mp3"] }'

长对话(超过约 30 秒)建议分段生成后合并:

belt app run infsh/media-merger --input '{ "media": ["segment1.mp3", "segment2.mp3", "segment3.mp3"] }'

适用场景

  • 播客与访谈节目
  • 教程与讲解内容
  • 辩论与讨论
  • 需要双人对话的音频内容

限制

  • 每次生成最多 2 位说话人。
  • 说话人标签必须大写。
  • 长对话建议分段生成。
  • 需安装并登录 inference.sh CLI(belt)。
  • 关于 ElevenLabs 的具体用法、收费、价格、平台与效果,资料中暂未提供。