SuperAPI AI 工具集

StableVideo

StableVideo 是一个文本驱动的视频编辑工具,基于扩散模型实现一致性感知的编辑,由论文作者在 ICCV 2023 发布。项目开源在 GitHub,代码实现了通过文本描述对视频内容进行编辑的功能,并注重保持帧间一致性。使用前需要下载预训练模型和示例视频,可能依赖 ControlNet 等组件。该项目主要面向研究用途,提供 CPU 和 GPU 运行选项,用户可运行 app.py 启动界面进行编辑。

访问官网

工具介绍

StableVideo 是由 Wenhao Chai、Xun Guo、Gaoang Wang 和 Yan Lu 提出的文本驱动一致性感知扩散视频编辑方法,发表于 ICCV 2023。该项目的目标是通过文本描述对视频进行编辑,同时保持时间上的一致性。

主要能力:

  • 基于扩散模型实现文本驱动的视频编辑。
  • 一致性感知编辑,旨在维持视频帧之间的连贯性。
  • 提供预训练模型和示例视频,可用于测试和演示。
  • 支持自定义视频训练,可按照 NLA 方法进行。
  • 允许编辑前景 atlas 的掩码区域,以调整编辑范围。

使用方式:

  • 项目代码托管在 GitHub,可通过仓库获取。
  • 需要下载预训练模型和检测器,可从 ControlNet Hugging Face 页面下载。
  • 示例视频 atlas 可从 Text2LIVE 作者分享的链接下载。
  • 运行 app.py 启动程序,点击渲染按钮后,结果 .mp4 视频和关键帧将保存在 ./log 目录中。
  • 可选使用 CPU 版本:设置参数 save_memory 以使用 CPU 缓存;也提供了仅 CPU 的 Hugging Face 演示。
  • 可编辑前景 atlas 的掩码区域,但注意 Gradio 可能存在 bug,需检查可编辑输出是否与上方一致,否则尝试重启程序。

适用场景:

  • 学术研究中的视频编辑实验。
  • 对视频进行基于文本描述的创意编辑。
  • 需要保持时序一致性的视频处理任务。

限制:

  • 目前的信息来自项目 README,未提供详细的性能指标、收费模式、支持平台等具体信息,这些方面暂未提供。
  • 使用可能需要一定的技术背景,涉及模型下载和环境配置。
  • Gradio 界面可能存在已知 bug,影响使用体验。