Whisper Transcription 是一个用于将音频和视频转录为文本的技能,基于 OpenAI Whisper 模型。以下内容按用途、主要能力、使用方式、适用场景与限制整理。
一、用途 该技能用于把音频或视频内容转换为文本。根据资料,其典型用途包括:将播客单集转换为博客文章、节目笔记或社交片段;为 YouTube 和社交媒体生成 SRT/VTT 字幕文件;从录制的通话中提取引语和要点;让音视频库变得可检索;对外语内容进行转录和翻译。
二、主要能力
- 转录:支持音频(如 mp3)和视频(如 mp4)输入,输出文本。
- 字幕生成:可输出 srt、vtt 等字幕格式,用于 YouTube、Vimeo 及网页视频。
- 批量转录:对文件夹内多个文件批量处理,每个音频生成对应文本文件。
- 转录加翻译:可将外语音频转录并翻译为指定语言。
- 时间戳提取:可输出带时间戳的结果,支持 json 格式。
- 输出格式:支持 txt、srt、vtt、json、tsv,分别适用于博客与分析、YouTube 字幕、网页视频字幕、程序化访问、表格分析。
- 性能相关:支持 GPU(CUDA)加速,官方称可快 10 倍;脚本可从视频自动提取音频;长文件自动分块以节省内存;支持自动语言检测,也可通过 --language 指定。
三、使用方式 安装依赖: pip install openai-whisper torch ffmpeg-python click 同时需要系统安装 ffmpeg,例如 macOS 使用 brew install ffmpeg,Ubuntu 使用 sudo apt install ffmpeg。
常用命令示例(保留原文): 单文件转录: python scripts/main.py transcribe audio.mp3 --model medium --output transcript.txt python scripts/main.py transcribe video.mp4 --format srt --output subtitles.srt 批量转录: python scripts/main.py batch ./recordings/ --format txt --output ./transcripts/ 转录加翻译: python scripts/main.py translate foreign-audio.mp3 --to en 提取时间戳: python scripts/main.py timestamps podcast.mp3 --format json
模型选择:资料提供了 tiny、base、small、medium、large 五档模型的速度、准确率、VRAM 与适用场景参考:tiny 最快、约 70% 准确率、1GB 显存,适合快速草稿和短片段;base 快、约 80%、1GB,适合社交媒体片段;small 中等、约 85%、2GB,适合播客和访谈;medium 慢、约 90%、5GB,适合专业转录;large 最慢、约 95%、10GB,适合对准确率要求关键的任务。资料建议多数营销内容从 small 开始,客户交付物使用 medium。
四、适用场景 适用于播客内容再利用、视频字幕制作、访谈内容提取、音视频内容审计与检索、外语内容翻译等。示例包括:为 1 小时播客生成带时间戳的完整转录(资料提到在 M1 Mac 上约需 5 分钟);为营销视频生成可直接上传 YouTube/Vimeo 的 SRT;批量处理客户访谈录音库。
五、限制与边界 资料明确列出该技能不能替代音频工程专业知识、不能做主观创意决策、不能直接访问或编辑音频文件、不保证商业成功。此外,该技能被定位为负责结构化音频生产工作流、提供技术指导、创建质量检查清单、建议创意方法;而最终创意方向、设备与工具选择、质量标准、品牌/声音决策、最终脚本批准由使用者决定。资料中未提供收费、价格或商业条款信息。