用途:Whisper 是 OpenAI 的多语言语音识别模型,用于语音转文字(99 种语言)、播客/视频转写、会议记录自动化、翻译成英文、嘈杂音频转写和多语言音频处理。
主要能力:支持转写与翻译两种任务;可自动检测语言或指定语言;提供词级时间戳;支持 initial_prompt 提升技术术语与专有名词准确率;支持温度回退重试;可输出 txt、srt、vtt、json 等格式;支持 GPU 加速(约快 10-20 倍)。模型有 tiny、base、small、medium、large、turbo 等规格,turbo 速度与质量较均衡,base 适合原型验证。
使用方式:需 Python 3.8-3.11 与 ffmpeg。安装:pip install -U openai-whisper;macOS 用 brew install ffmpeg,Ubuntu 用 sudo apt install ffmpeg,Windows 用 choco install ffmpeg。Python 中加载模型并转写:model = whisper.load_model("base");result = model.transcribe("audio.mp3")。命令行:whisper audio.mp3 --model turbo --output_format srt。实时流式可改用 faster-whisper。
适用场景:字幕生成、视频/播客转写、会议记录、多语言音频处理、结合 LangChain 做 RAG 等。
限制:可能产生幻觉(重复或编造文本);超过 30 分钟的长音频准确率下降;不支持说话人分离;口音与背景噪声会影响质量;不适合实时字幕;不同语言质量有差异。性能与显存需求随模型规格变化,需按硬件选择。