SuperAPI AI 工具集

claude-video-caption

设计与创作

查看项目

更新于 10-15 16:43

技能介绍

用途:将视频或音频转写为文字,并生成逐词高亮的动画字幕(卡拉OK风格),也可处理已有字幕轨道的提取、格式转换与时间调整。

主要能力:使用 whisper-ctranslate2(faster-whisper)做多语言转写,支持 99 种语言与词级时间戳;通过 FFmpeg 将 ASS/SRT 字幕烧录进视频;支持 SRT、ASS、VTT 格式互转;可提取视频内嵌字幕轨道;可调整字幕时间偏移。提供 default、minimal、bold、neon、shadow 等字幕样式,以及 TikTok/Reels、YouTube、播客等预设样式参数。

使用方式:先确认已安装 Whisper(command -v whisper-ctranslate2),并运行 bash scripts/preflight.sh "$INPUT" "$OUTPUT"。常用一键流程为 bash scripts/caption_pipeline.sh "$INPUT" "$OUTPUT" [language] [style],language 默认 auto,style 默认 default。手动流程为:用 ffmpeg 抽取 16kHz 单声道 WAV,再用 whisper-ctranslate2 以 --word_timestamps True 输出 JSON,然后转换为带 \kf 标签的 ASS 字幕,最后用 ffmpeg -vf "ass=/tmp/captions.ass" 烧录。模型可选 tiny、base、small、medium、large-v3-turbo、large-v3,需按显存与精度需求选择。

适用场景:短视频与社交平台字幕、YouTube 视频字幕、播客或访谈字幕、已有字幕的格式整理与烧录。

限制:依赖 Whisper 与 FFmpeg 环境;转写速度与精度受模型大小和硬件(显存、compute_type)影响;ASS 颜色使用 BGR 格式;资料未提供具体收费、价格或平台支持信息。