Whisper 是 OpenAI 的多语言语音识别模型,用于将音频转为文本,支持 99 种语言,并可将非英语语音翻译为英文。项目在 GitHub 上获得 72,900+ 星标,训练数据规模为 680,000 小时音频,采用 MIT 许可证。
用途 主要用于以下场景:语音转文字转写(99 种语言)、播客与视频转写、会议记录自动化、翻译为英文、带噪声音频转写、多语言音频处理。资料同时建议在需要托管 API 与说话人分离时考虑 AssemblyAI,在实时流式识别场景考虑 Deepgram,或使用 Google Speech-to-Text 等云端方案。
主要能力 提供六种模型规格:tiny(39M 参数,约 32 倍速,约 1 GB 显存)、base(74M,约 16 倍速,约 1 GB)、small(244M,约 6 倍速,约 2 GB)、medium(769M,约 2 倍速,约 5 GB)、large(1550M,1 倍速,约 10 GB)、turbo(809M,约 8 倍速,约 6 GB);其中 tiny 至 medium 提供仅英文与多语言版本,large 与 turbo 仅提供多语言版本。支持自动语言检测或指定语言、转写与翻译两种任务、initial_prompt 上下文提示、词级时间戳、温度回退重试。命令行支持 txt、srt、vtt、json 等输出格式。支持 GPU 加速,GPU 上约快 10–20 倍。另可配合 faster-whisper 获得更快速度。
使用方式 需 Python 3.8–3.11 与 ffmpeg。安装命令:pip install -U openai-whisper;macOS 用 brew install ffmpeg,Ubuntu 用 sudo apt install ffmpeg,Windows 用 choco install ffmpeg。Python 中通过 whisper.load_model 加载模型并调用 model.transcribe 获取 text 与 segments;命令行示例:whisper audio.mp3 --model turbo --output_format srt --language Spanish --task translate。可批量循环处理多个音频文件,也可先用 ffmpeg 从视频提取音频再转写。资料还给出与 LangChain 结合用于 RAG 的示例。
适用场景与限制 资料建议使用 turbo 模型获得最佳速度/质量,指定语言比自动检测更快,添加 initial prompt 有助于技术术语与专有名词,长音频建议切分为 30 分钟以内片段,并转换为 WAV 以提高兼容性。限制包括:可能出现幻觉(重复或编造文本)、30 分钟以上长音频准确率下降、不具备说话人分离能力、口音与背景噪声影响准确率、实时延迟不适合直播字幕;不同语言的识别质量存在差异。性能方面给出实时因子参考:tiny 在 CPU 上约 0.32、GPU 约 0.01;base 约 0.16/0.01;turbo 约 0.08/0.01;large 约 1.0/0.05。