用途
ElevenLabs 语音转文字(STT)技能用于将音频转录为文本,通过 inference.sh CLI(belt)调用 ElevenLabs 的 Scribe 模型,并可进行强制对齐以获得精确时间戳。
主要能力
- 使用 Scribe 模型进行高精度转录,官方资料称准确率达 98% 以上。
- 支持 90 多种语言,可自动检测;也可通过 language_code 指定语言。
- 可选用模型:scribe_v2(最新、准确率最高,默认)与 scribe_v1(稳定、经过验证)。
- 说话人识别(diarize):区分不同说话人的内容,适用于会议、访谈等。
- 音频事件标注(tag_audio_events):检测笑声、掌声、音乐等非语音事件,适用于播客。
- 强制对齐(forced alignment):将已知文本与音频对齐,输出词级和字符级时间戳,适用于字幕、对口型、卡拉 OK 和同步文本。
使用方式
需先安装 belt CLI 技能并登录:
npx skills add belt-sh/cli
belt login
基础转录:
belt app run elevenlabs/stt --input '{"audio": "https://meeting-recording.mp3"}'
带说话人识别:
belt app run elevenlabs/stt --input '{
"audio": "https://meeting.mp3",
"diarize": true
}'
音频事件标注:
belt app run elevenlabs/stt --input '{
"audio": "https://podcast.mp3",
"tag_audio_events": true
}'
指定语言:
belt app run elevenlabs/stt --input '{
"audio": "https://spanish-audio.mp3",
"language_code": "spa"
}'
完整参数示例:
belt app run elevenlabs/stt --input '{
"audio": "https://conference.mp3",
"model": "scribe_v2",
"diarize": true,
"tag_audio_events": true,
"language_code": "eng"
}'
强制对齐:
belt app run elevenlabs/forced-alignment --input '{
"audio": "https://narration.mp3",
"text": "This is the exact text spoken in the audio file."
}'
强制对齐输出格式示例:
{
"words": [
{"text": "This", "start": 0.0, "end": 0.3},
{"text": "is", "start": 0.35, "end": 0.5},
{"text": "the", "start": 0.55, "end": 0.65}
],
"text": "This is the exact text spoken in the audio file."
}
适用场景
- 会议:转录录音并进行说话人识别。
- 播客:生成带音频事件标注的转录文本。
- 字幕:为视频创建带时间轴的字幕。
- 研究:带说话人分离的访谈转录。
- 无障碍:让音频内容可搜索、可访问。
- 对口型:通过强制对齐为动画配音定时。
视频字幕工作流示例:
# 1. 转录视频音频
belt app run elevenlabs/stt --input '{
"audio": "https://video.mp4",
"diarize": true
}' > transcript.json
# 2. 使用转录文本生成字幕
belt app run infsh/caption-videos --input '{
"video_url": "https://video.mp4",
"captions": "<transcript-from-step-1>"
}'
支持语言
90 多种语言,包括英语、西班牙语、法语、德语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语、印地语、俄语、土耳其语、荷兰语、瑞典语等。language_code 留空则自动检测。
相关技能
# ElevenLabs TTS(反向方向)
npx skills add inference-sh/skills@elevenlabs-tts
# ElevenLabs 配音(翻译音频)
npx skills add inference-sh/skills@elevenlabs-dubbing
# 其他 STT 模型(Whisper)
npx skills add inference-sh/skills@speech-to-text
# 完整平台技能(所有应用)
npx skills add inference-sh/skills@infsh-cli
浏览全部音频应用:
belt app list --category audio
限制
资料中未提供计费、价格、调用配额、音频时长或格式限制等信息,暂未提供。