用途:通过 inference.sh CLI(infsh)调用 ElevenLabs 的 Scribe 语音转文字模型,将音频转写为文本,并提供强制对齐(forced alignment)以获取精确的词级与字符级时间戳。
主要能力:
- 模型:Scribe v2(默认,最新最高精度)、Scribe v1(稳定版)。
- 宣称 98%+ 转录准确率,支持 90+ 语言并自动检测。
- 可选说话人识别(diarize)。
- 可选音频事件标记(tag_audio_events),检测笑声、掌声、音乐等非语音事件。
- 可指定 language_code 强制语言。
- 强制对齐:将已知文本与音频对齐,输出词级时间戳,适用于字幕、唇形同步、卡拉 OK 歌词。
使用方式(需先安装 infsh CLI 并登录): infsh login 基本转录: infsh app run elevenlabs/stt --input '{"audio": "https://audio.mp3"}' 带说话人识别: infsh app run elevenlabs/stt --input '{ "audio": "https://meeting.mp3", "diarize": true }' 事件标记: infsh app run elevenlabs/stt --input '{ "audio": "https://podcast.mp3", "tag_audio_events": true }' 指定语言: infsh app run elevenlabs/stt --input '{ "audio": "https://spanish-audio.mp3", "language_code": "spa" }' 完整参数示例: infsh app run elevenlabs/stt --input '{ "audio": "https://conference.mp3", "model": "scribe_v2", "diarize": true, "tag_audio_events": true, "language_code": "eng" }' 强制对齐: infsh app run elevenlabs/forced-alignment --input '{ "audio": "https://narration.mp3", "text": "This is the exact text spoken in the audio file." }' 对齐输出包含 words 数组(每项含 text、start、end)与整体 text。
字幕工作流:先转录视频音频并保存为 transcript.json,再将结果传给字幕应用: infsh app run elevenlabs/stt --input '{ "audio": "https://video.mp4", "diarize": true }' > transcript.json infsh app run infsh/caption-videos --input '{ "video_url": "https://video.mp4", "captions": "<transcript-from-step-1>" }'
适用场景:会议记录转录与说话人区分、播客转录与音频事件标注、视频字幕与同步文本、访谈研究转写、无障碍内容、动画唇形同步。
限制:需依赖 inference.sh CLI 与 ElevenLabs 服务;调用涉及登录与外部 API,具体收费、价格、额度与并发限制资料未提供;支持语言清单仅举例,未给出完整列表。