StableVideo 是由 Wenhao Chai、Xun Guo、Gaoang Wang 和 Yan Lu 提出的文本驱动一致性感知扩散视频编辑方法,发表于 ICCV 2023。该项目的目标是通过文本描述对视频进行编辑,同时保持时间上的一致性。
主要能力:
- 基于扩散模型实现文本驱动的视频编辑。
- 一致性感知编辑,旨在维持视频帧之间的连贯性。
- 提供预训练模型和示例视频,可用于测试和演示。
- 支持自定义视频训练,可按照 NLA 方法进行。
- 允许编辑前景 atlas 的掩码区域,以调整编辑范围。
使用方式:
- 项目代码托管在 GitHub,可通过仓库获取。
- 需要下载预训练模型和检测器,可从 ControlNet Hugging Face 页面下载。
- 示例视频 atlas 可从 Text2LIVE 作者分享的链接下载。
- 运行 app.py 启动程序,点击渲染按钮后,结果 .mp4 视频和关键帧将保存在 ./log 目录中。
- 可选使用 CPU 版本:设置参数 save_memory 以使用 CPU 缓存;也提供了仅 CPU 的 Hugging Face 演示。
- 可编辑前景 atlas 的掩码区域,但注意 Gradio 可能存在 bug,需检查可编辑输出是否与上方一致,否则尝试重启程序。
适用场景:
- 学术研究中的视频编辑实验。
- 对视频进行基于文本描述的创意编辑。
- 需要保持时序一致性的视频处理任务。
限制:
- 目前的信息来自项目 README,未提供详细的性能指标、收费模式、支持平台等具体信息,这些方面暂未提供。
- 使用可能需要一定的技术背景,涉及模型下载和环境配置。
- Gradio 界面可能存在已知 bug,影响使用体验。