用途
ElevenLabs Dubbing 是一个自动配音技能,通过 inference.sh CLI(belt)将音频和视频翻译并配音成 29 种语言,并在配音过程中保留原说话人的声音特征。
主要能力
- 自动说话人检测:自动识别多个说话人。
- 声音保留:保持原说话人的声音特征。
- 时间对齐:匹配原始语音的时间与节奏。
- 多说话人支持:可处理包含多个说话人的视频。
- 支持 29 种语言,包括英语、西班牙语、法语、德语、意大利语、葡萄牙语、波兰语、印地语、阿拉伯语、中文、日语、韩语、俄语、土耳其语、荷兰语、瑞典语、丹麦语、芬兰语、挪威语、捷克语、希腊语、希伯来语、匈牙利语、印尼语、马来语、罗马尼亚语、泰语、乌克兰语、越南语。
- 支持的输入格式:MP3、MP4、WAV、MOV。
使用方式
首先安装 belt CLI 技能:
npx skills add belt-sh/cli
该技能需要 inference.sh CLI(belt),安装说明参见官方文档。登录:
belt login
将英语视频配音为西班牙语:
belt app run elevenlabs/dubbing --input '{
"audio": "https://video.mp4",
"target_lang": "es"
}'
将视频配音为西班牙语:
belt app run elevenlabs/dubbing --input '{
"audio": "https://english-video.mp4",
"target_lang": "es"
}'
将音频配音为法语:
belt app run elevenlabs/dubbing --input '{
"audio": "https://podcast-episode.mp3",
"target_lang": "fr"
}'
指定源语言(跳过自动检测):
# Skip auto-detection, specify source
belt app run elevenlabs/dubbing --input '{
"audio": "https://german-video.mp4",
"source_lang": "de",
"target_lang": "en"
}'
多语言分发:
# Dub to multiple languages
for lang in es fr de ja ko; do
belt app run elevenlabs/dubbing --input "{
\"audio\": \"https://video.mp4\",
\"target_lang\": \"$lang\"
}" > "dubbed_${lang}.json"
echo "Dubbed to $lang"
done
工作流:本地化内容流水线
# 1. Start with original video
# 2. Dub to target language
belt app run elevenlabs/dubbing --input '{
"audio": "https://original-video.mp4",
"target_lang": "es"
}' > dubbed.json
# 3. Add subtitles in target language
belt app run elevenlabs/stt --input '{
"audio": "<dubbed-audio-url>",
"language_code": "spa"
}' > transcript.json
# 4. Caption the dubbed video
belt app run infsh/caption-videos --input '{
"video_url": "<dubbed-video-url>",
"captions": "<transcript>"
}'
适用场景
- 内容创作者:触达国际受众。
- 在线教育:为全球学生本地化课程。
- 营销:为不同市场调整营销活动。
- 播客:以多种语言分发。
- 企业:多语言培训与沟通。
- 影视:为分发进行快速配音。
相关技能
# ElevenLabs TTS (generate speech in any language)
npx skills add inference-sh/skills@elevenlabs-tts
# ElevenLabs STT (transcribe dubbed content)
npx skills add inference-sh/skills@elevenlabs-stt
# ElevenLabs voice changer (transform voices)
npx skills add inference-sh/skills@elevenlabs-voice-changer
# Full platform skill (all apps)
npx skills add inference-sh/skills@infsh-cli
浏览所有音频应用:
belt app list --category audio
限制
关于收费、价格、配额、处理时长、输出格式等具体信息,资料中暂未提供。