SuperAPI AI 工具集

text-to-speech

通用与其它

查看项目

更新于 10-15 13:10

技能介绍

用途

该技能用于将文本转换为自然语音,通过 inference.sh CLI(belt)调用多种文本转语音(TTS)模型。它适合需要为内容生成语音的场景,例如产品演示配音、解说视频、有声书、播客、无障碍内容、电话系统语音提示、视频旁白、游戏 NPC 角色语音以及对话式 AI 的语音回复。

主要能力

技能提供多个可选模型,每个模型有不同定位:

  • Inworld TTS-2(App ID:inworld/text-to-speech-2):支持 100 多种语言,可通过 [方括号] 在文本中内联控制情绪、音量、语速和非语言声音,支持交付模式。
  • Inworld TTS 1.5 Max(inworld/text-to-speech-1-5-max):低延迟(<200ms),支持 15 种语言。
  • Inworld TTS 1.5 Mini(inworld/text-to-speech-1-5-mini):超低延迟(约 120ms),支持 15 种语言,适合对话式 AI。
  • ElevenLabs TTS(elevenlabs/tts):高质量,22+ 种声音,32 种语言。
  • DIA TTS(infsh/dia-tts):对话式、富有表现力。
  • Kokoro TTS(infsh/kokoro-tts):快速、自然。
  • Chatterbox(infsh/chatterbox):通用。
  • Higgs Audio(infsh/higgs-audio):情绪控制。
  • VibeVoice(infsh/vibevoice):播客、长音频。

Inworld TTS-2 内置 271+ 种声音,覆盖 15 种语言,包括 Sarah、Alex、Ashley、Dennis、Hana、Blake、Luna、Clive 等,可在 Inworld TTS Playground 浏览,或通过 GET https://api.inworld.ai/voices/v1/voices 以编程方式列出。

使用方式

首先安装 belt CLI 技能:

npx skills add belt-sh/cli

需要 inference.sh CLI(belt),并登录:

belt login

基础文本转语音示例:

belt app run infsh/kokoro-tts --input '{"text": "Welcome to our tutorial."}'

Inworld TTS-2 情绪控制示例:

belt app run inworld/text-to-speech-2 --input '{ "text": "I have some [exciting] news to share with you! [pause] We just hit one million users. [laugh]", "voice_id": "Sarah", "delivery_mode": "CREATIVE" }'

交付模式包括:STABLE(一致)、BALANCED(自然,默认)、CREATIVE(富有表现力)。

Inworld TTS 1.5 低延迟示例:

belt app run inworld/text-to-speech-1-5-max --input '{ "text": "Welcome back! How can I help you today?", "voice_id": "Ashley" }'

belt app run inworld/text-to-speech-1-5-mini --input '{ "text": "Sure, let me look that up for you.", "voice_id": "Dennis" }'

DIA 对话式 TTS 示例:

belt app sample infsh/dia-tts --save input.json

编辑 input.json:

{ "text": "Hey! How are you doing today? I'm really excited to share this with you.", "voice": "conversational" }

belt app run infsh/dia-tts --input input.json

长音频(播客)示例:

belt app sample infsh/vibevoice --save input.json

编辑 input.json 填入播客脚本后运行:

belt app run infsh/vibevoice --input input.json

Higgs 表现力语音示例:

belt app sample infsh/higgs-audio --save input.json

{ "text": "This is absolutely incredible!", "emotion": "excited" }

belt app run infsh/higgs-audio --input input.json

浏览所有音频应用:

belt app list --category audio

与视频组合

制作说话头像视频最简单的方式是使用 P-Video-Avatar,它内置 TTS,无需单独的音频步骤:

belt app run pruna/p-video-avatar --input '{ "image": "https://portrait.jpg", "voice_script": "Your script here", "voice": "Zephyr (Female)" }'

对于没有内置 TTS 的模型(OmniHuman、PixVerse),需先生成语音:

belt app run inworld/text-to-speech-2 --input '{ "text": "[friendly] Your script here. [excited] This is the best part!", "voice_id": "Sarah", "delivery_mode": "CREATIVE" }' > speech.json

belt app run bytedance/omnihuman-1-5 --input '{ "image_url": "https://portrait.jpg", "audio_url": "<audio-url-from-step-1>" }'

相关技能

npx skills add inference-sh/skills@elevenlabs-tts npx skills add inference-sh/skills@elevenlabs-dialogue npx skills add inference-sh/skills@infsh-cli npx skills add inference-sh/skills@ai-avatar-video npx skills add inference-sh/skills@ai-music-generation npx skills add inference-sh/skills@speech-to-text npx skills add inference-sh/skills@ai-video-generation

浏览所有应用:belt app list

适用场景

  • 配音:产品演示、解说视频
  • 有声书:将文本转换为语音
  • 播客:生成播客剧集
  • 无障碍:让内容更易获取
  • IVR:电话系统语音提示
  • 视频旁白:为视频添加旁白
  • 游戏 / NPC:带情绪控制的角色语音(Inworld TTS-2)
  • 对话式 AI:超低延迟响应(Inworld TTS 1.5 Mini)
  • 头像 / UGC 视频:为说话头像生成语音

限制

使用前需要安装 inference.sh CLI(belt)并登录。不同模型支持的语言数量、声音数量、延迟和情绪控制能力不同,具体以各模型说明为准。部分模型需要先通过 belt app sample 生成输入模板再编辑运行。与视频模型组合时,无内置 TTS 的模型需先生成语音并传入音频 URL。资料未提供各模型的收费、价格或额度信息。