SuperAPI AI 工具集

autoclip

设计与创作

查看项目

更新于 10-29 04:35

技能介绍

AutoClip 是一个开源、本地优先的 AI 视频切片工具,用于把长视频(播客、访谈、网络研讨会、会议演讲)转换为可直接发布到平台的 9:16 竖屏片段,并带有说话人跟踪式画面重构和动画字幕。它不上传云端、不加水印、不收取订阅费;只有转写文本会发送给 LLM 做高光检测,若使用本地 Ollama 模型,数据完全不离开本机。

用途

  • 将长 YouTube 视频、播客、网络研讨会或原始素材转换为 9:16 竖屏片段,用于 Shorts、Reels、TikTok。
  • 自动在长音视频中寻找具有传播潜力的钩子和高互动时刻。
  • 借助人脸检测(MediaPipe)把 16:9 宽屏素材重构为 9:16 竖屏,并跟踪当前说话人。
  • 直接在输出视频中烧录动画卡拉 OK 或加粗弹出式字幕,无需外部工具。
  • 使用离线 Whisper 与 Ollama 在本地运行完整流程,兼顾隐私与零 API 成本。
  • 通过 CLI(autoclip clip、autoclip jobs)管理切片任务,或在本地 Web 应用(autoclip serve)中审阅片段。

主要能力

  • 支持的字幕样式:bold_pop(粗白字、深色描边,说到词放大并变黄)、karaoke_fill(词随语音同步填充强调色)、clean_lower(极简下三分之一字幕,无弹跳动画)、boxed(高对比文字配纯色背景块)。
  • 所有中间产物和导出的片段保存在 ~/.autoclip/work/{job_id}/。
  • 可先从本地视频文件或 YouTube URL 生成片段。

使用方式

  1. 环境预检:运行 autoclip doctor,确认 Python 为 3.11 或 3.12(MediaPipe 不支持 Python 3.13),FFmpeg 包含 libass 以烧录字幕(macOS 需 brew install ffmpeg-full,而非普通 ffmpeg),且 ffmpeg 与 ffprobe 均在 PATH 中可用。
  2. 配置 LLM 高光检测(二选一):本地离线 Ollama,运行 ollama pull llama3.1:8b;或使用 API 密钥(存于操作系统密钥环),运行 autoclip config set-secret anthropic(或 openai、gemini)。
  3. 运行切片流程:例如 autoclip clip /path/to/long-podcast.mp4 --style bold_pop --aspect 9:16。
  4. 审阅与调整:运行 autoclip serve,打开 http://localhost:8000 预览候选片段、调整字幕文本或时间轴,并下载最终 MP4。

适用场景

  • 从访谈视频中批量提取短视频(示例:把 45 分钟技术访谈转为 9:16 竖屏并配卡拉 OK 字幕,用于 YouTube Shorts):先运行 autoclip doctor 确认 ffmpeg-full 与 Whisper 运行正常,再执行 autoclip clip ./interview.mp4 --style karaoke_fill --aspect 9:16,随后用 autoclip jobs 查看任务并核对 ~/.autoclip/work/<job_id>/ 中的导出文件。

限制与注意事项

  • 不适合对话式原始素材剪辑(剪掉磕绊、调色、叠加动画),也不适合仅凭提示词或素材库从零生成短视频、基于 Remotion 的代码化视频合成,或不含 AI 切片的离线压缩/裁剪/转码。
  • 需要 LLM 对转写高光进行排序,因此必须配置本地 Ollama 或相应 API 密钥。
  • 模型选择会影响效果:小型 7B 模型能发现明显的主题断点,前沿模型(Claude 3.5 Sonnet、GPT-4o)识别细微叙事钩子和笑点的准确率明显更高。
  • 若 FFmpeg 缺少 libass,字幕会静默失败并报 No such filter: ass。
  • 切片采用先检测场景切换再独立裁切的方式,不应在硬切处强制平滑镜头平移插值。
  • 长视频任务会在 ~/.autoclip/work/ 下产生音频 WAV、帧裁切和临时片段,建议导出后定期清理已完成任务目录。

参考资料:命令行参考见 references/cli-reference.md;官方仓库为 artbyjazi/autoclip。