SuperAPI AI 工具集

elevenlabs-stt

通用与其它

查看项目

更新于 10-15 08:33

技能介绍

用途

ElevenLabs 语音转文字(STT)技能用于将音频内容转录为文本,底层通过 inference.sh CLI(belt)调用 ElevenLabs 的 Scribe 模型。除基础转录外,还提供说话人识别、音频事件标注和强制对齐等能力,可用于会议记录、播客、字幕制作、访谈研究等场景。

主要能力

  • 模型选择:Scribe v2(ID:scribe_v2)为最新、精度最高的默认模型;Scribe v1(ID:scribe_v1)为稳定、经过验证的版本。
  • 准确率与语言:宣称 98%+ 转录准确率,支持 90+ 种语言并自动检测,包括英语、西班牙语、法语、德语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语、印地语、俄语、土耳其语、荷兰语、瑞典语等。language_code 留空即自动检测。
  • 说话人识别(diarize):开启后可区分不同说话人,适合会议、访谈等多人场景。
  • 音频事件标注(tag_audio_events):检测笑声、掌声、音乐等非语音事件。
  • 指定语言:可通过 language_code 显式指定语言(如 spa、eng)。
  • 强制对齐(forced alignment):将已知文本与音频对齐,获得精确的词级和字符级时间戳,输出包含 words 数组(每项含 text、start、end)与完整 text。

使用方式

需先安装 belt CLI 技能并登录:

npx skills add belt-sh/cli
belt login

基础转录:

belt app run elevenlabs/stt --input '{"audio": "https://meeting-recording.mp3"}'

带说话人识别:

belt app run elevenlabs/stt --input '{
  "audio": "https://meeting.mp3",
  "diarize": true
}'

音频事件标注:

belt app run elevenlabs/stt --input '{
  "audio": "https://podcast.mp3",
  "tag_audio_events": true
}'

指定语言:

belt app run elevenlabs/stt --input '{
  "audio": "https://spanish-audio.mp3",
  "language_code": "spa"
}'

完整参数示例:

belt app run elevenlabs/stt --input '{
  "audio": "https://conference.mp3",
  "model": "scribe_v2",
  "diarize": true,
  "tag_audio_events": true,
  "language_code": "eng"
}'

强制对齐:

belt app run elevenlabs/forced-alignment --input '{
  "audio": "https://narration.mp3",
  "text": "This is the exact text spoken in the audio file."
}'

强制对齐输出格式:

{
  "words": [
    {"text": "This", "start": 0.0, "end": 0.3},
    {"text": "is", "start": 0.35, "end": 0.5},
    {"text": "the", "start": 0.55, "end": 0.65}
  ],
  "text": "This is the exact text spoken in the audio file."
}

适用场景

  • 会议:转录录音并识别说话人。
  • 播客:生成带音频事件标签的转录文本。
  • 字幕:为视频创建带时间轴的字幕。
  • 研究:带说话人分离的访谈转录。
  • 无障碍:让音频内容可搜索、可访问。
  • 口型同步:通过强制对齐为动画提供时间基准。

强制对齐的具体用途包括:字幕(视频字幕精确计时)、口型同步(将音频对齐到动画角色)、卡拉 OK(逐词歌词计时)、无障碍(同步转录文本)。

视频字幕工作流示例:

# 1. 转录视频音频
belt app run elevenlabs/stt --input '{
  "audio": "https://video.mp4",
  "diarize": true
}' > transcript.json

# 2. 使用转录结果生成字幕
belt app run infsh/caption-videos --input '{
  "video_url": "https://video.mp4",
  "captions": "<transcript-from-step-1>"
}'

相关技能

# ElevenLabs TTS(反向方向)
npx skills add inference-sh/skills@elevenlabs-tts

# ElevenLabs 配音(翻译音频)
npx skills add inference-sh/skills@elevenlabs-dubbing

# 其他 STT 模型(Whisper)
npx skills add inference-sh/skills@speech-to-text

# 完整平台技能(所有应用)
npx skills add inference-sh/skills@infsh-cli

浏览所有音频应用:belt app list --category audio

限制

资料未提供收费、价格、平台支持范围、音频时长或文件大小上限、并发限制等信息,暂未提供。使用前需安装并登录 inference.sh CLI(belt)。