用途:将音频/视频转换为文本,适合生成字幕、转写会议、处理口述内容。
主要能力:
- 模型:scribe_v2(高精度,适合批量转写、字幕、长音频)与 scribe_v2_realtime(低延迟约150ms,适合实时转写、语音智能体)。
- 词级时间戳,含类型分类与说话人识别。
- 说话人分离(diarize),标记每个词的 speaker_id,适合会议、访谈多人音频。
- 关键词提示 keyterms,最多100个,帮助识别产品名、术语或特殊拼写。
- 语言检测,可给 ISO 639-1/3 语言提示,返回 language_code 与置信度。
- 支持音频 MP3、WAV、M4A、FLAC、OGG、WebM、AAC、AIFF、Opus;视频 MP4、AVI、MKV、MOV、WMV、FLV、WebM、MPEG、3GPP。限制:文件最大3GB、时长最长10小时。
用法:Python 用 from elevenlabs.client import ElevenLabs,调用 client.speech_to_text.convert(file=audio_file, model_id="scribe_v2");JavaScript 仅用 @elevenlabs/* 包,通过 ElevenLabsClient 的 speechToText.convert;也可直接 POST https://api.elevenlabs.io/v1/speech-to-text,带 xi-api-key 头与 file、model_id 表单字段。时间戳用 timestamps_granularity="word",说话人分离加 diarize=True,关键词加 keyterms 列表。实时流式可用 client.speech_to_text.realtime.connect 或前端 useScribe(@elevenlabs/react),需从后端获取 token,不要把 API 密钥暴露到客户端。实时结果分 partial_transcript 与 committed_transcript,可用手动 commit 或 VAD 静音自动提交。
响应含 text、language_code、language_probability 与 words 数组,词类型有 word、spacing 和 audio_event(如笑声、掌声、音乐)。常见错误:401 密钥无效、422 参数错误、429 触发限流。可用 request-id 响应头跟踪用量。
限制:费用、价格与配额等资料暂未提供;实时 token 获取等后端实现细节需参考官方安装与实时文档。