SuperAPI AI 工具集

whisper-test

测试与质量

查看项目

更新于 10-16 03:37

技能介绍

用途:用 OpenAI Whisper 转写 WAV 音频并判断语音是否可懂,可选与预期文本比对,常用于 TTS 质量验证、语音输出回归测试与批量变体比较。

安装与运行:Whisper 通过 uv 工具安装,命令为 uv tool install openai-whisper。因机器可能缺少 ffmpeg,应使用基于 scipy 加载 WAV 的 Python API 方式,绕过 ffmpeg 依赖。执行命令:uv run --no-project --with openai-whisper --with scipy --python 3.11 python3 ~/.claude/skills/whisper-test/transcribe.py 后接参数与 WAV 文件。

参数:--model 指定模型(默认 large-v3);--language 语言提示(默认 en);--expected 预期文本,提供后计算词错误率 WER;--json 以 JSON 输出;位置参数为一个或多个 WAV 路径。

模型选择:TTS 质量验证建议用 large-v3(约 10 GB 显存),medium 约 5 GB 精度尚可,small 约 2 GB 仅适合快速冒烟测试,base 与 tiny 因幻觉率高不推荐用于 TTS。

结果解读:转写匹配预期表示清晰正确;部分匹配说明有语音但质量有问题;空字符串表示不可懂;出现幻觉文本说明模型在噪声中听出内容,小模型更常见。音频指标:RMS < 0.01 近似静音;silence > 80% 基本为静音;peak < 0.05 音量过低。

TTS 常见特征:短参考做 ICL 声音克隆时开头可能含混、结尾清晰;即使 WER 高,领域关键词往往仍能听出;0.6B 模型输出可懂度明显低于 1.7B。

批量比较:加 --expected 并传入多个 WAV 可生成对比表,判断哪个变体语音清晰。

限制:主要面向 WAV 文件;无 ffmpeg 时须用 scipy 加载器。文档未提供收费、价格等其它信息。