SuperAPI AI 工具集

video-understanding

设计与创作

查看项目

更新于 10-15 19:58

技能介绍

用途:该技能用于下载视频并转录其内容,以便对视频进行理解、总结或分析。

依赖前提:需要预先安装 yt-dlp(pip install yt-dlp 或 brew install yt-dlp)、ffmpeg(brew install ffmpeg 或 apt install ffmpeg)以及 Whisper(pip install openai-whisper)。

处理流程:

  1. 用 yt-dlp 下载视频,例如 yt-dlp -o "assets/downloads/%(title)s.%(ext)s" "<VIDEO_URL>";可选最佳画质参数 -f "bestvideo[ext=mp4]+bestaudio[ext=m4a]/best[ext=mp4]/best",或仅下载音频 yt-dlp -x --audio-format mp3 -o "assets/downloads/%(title)s.%(ext)s" "<VIDEO_URL>"。
  2. 若下载的是视频,用 ffmpeg 抽取音频:ffmpeg -i "assets/downloads/video.mp4" -vn -acodec mp3 -ab 128k "assets/downloads/audio.mp3"。
  3. 用 Whisper 转录:whisper "assets/downloads/audio.mp3" --model base --output_format txt --output_dir output/,也可用 medium 模型、--output_format all 或 srt 获取时间戳。
  4. 从 output/ 读取生成的转录文件,进行要点总结、提取引文与时间戳,并在多说话人场景下识别说话人。

模型选项与输出:模型包括 tiny、base、small、medium、large,体积从 39M 到 1550M,速度与质量递增;输出格式支持 txt、srt、vtt、json(含词级时间)与 all。

提示与限制:可用 base 求速度、medium 求准确;可加 --language en 强制指定语言,或用 --task translate 翻译为英文;下载文件在 assets/downloads/,转录结果建议存放于 output/transcripts/。具体支持平台、收费与效果等资料暂未提供。