SuperAPI AI 工具集

whisper

智能体与模型

查看项目

更新于 10-15 21:49

技能介绍

用途:Whisper(OpenAI)用于语音转文本,支持 99 种语言与翻译,当前最新为 large-v3。适用于多语言录音转写、非英语语音直译为英文、为视频生成字级字幕,以及基于 faster-whisper 的高吞吐推理。

主要能力:基础用法为加载预训练模型并转写音频,如 model = whisper.load_model("base")、result = model.transcribe("interview.mp3"),可读取检测语言与全文。faster-whisper 通过 CTranslate2 加速,如 WhisperModel(model_size_or_path="large-v3", device="cuda", compute_type="float16"),支持 beam_size、language、vad_filter(vad_parameters=dict(min_silence_duration_ms=500))等参数,并输出每段起止时间与文本。设置 word_timestamps=True 可获得每词时间戳,用于字幕对齐;设置 task="translate" 可把非英语语音直接转成英文文本。

使用方式与建议:已知语言时显式指定 language 以跳过语言识别开销;启用 vad_filter=True 过滤静音,减少重复幻觉;生产环境优先用 faster-whisper 与 float16/int8_float16,兼顾吞吐与显存;追求准确度可选 large-v3 或 large-v3-turbo。

限制与排错:需系统安装 ffmpeg,否则报 FileNotFoundError;large-v3 可能因显存不足触发 CUDA Out of Memory,可改 float16 或换 medium/small。长音频、噪声音频与含长静音/背景音乐的音频易出现重复幻觉,可设 no_speech_threshold=0.6 与 condition_on_previous_text=False,并考虑预处理降噪。是否收费、价格与具体平台支持情况暂未提供。