SuperAPI AI 工具集

videocrafter

VideoCrafter 是一个开源视频生成与编辑工具箱,由 AILab-CVC 开发。它包含文本到视频(Text2Video)和图像到视频(Image2Video)模型,基于扩散模型实现高质量视频生成。VideoCrafter2 版本在有限数据下相比 VideoCrafter1 有显著改进,提供更好的运动和概念组合能力。该仓库主要用于研究目的,仅限个人、研究或非商业用途。模型权重可通过 Hugging Face 下载,并支持通过 Anaconda 安装环境、本地 Gradio 演示等方式使用。最新版本还包括 512x320 的 VideoCrafter2 检查点以及 640x1024 分辨率的 I2V 模型。

访问官网

工具介绍

VideoCrafter 是一个开源的视频生成与编辑工具箱,旨在帮助用户创作视频内容。它目前包含文本到视频(Text2Video)和图像到视频(Image2Video)两种模型。

用途:

  • 通用文本到视频生成:根据文本描述生成视频。
  • 通用图像到视频生成:根据输入图像生成视频。

主要能力:

  • VideoCrafter2 在有限数据下相比 VideoCrafter1 有显著改进,提供更好的运动和概念组合能力。
  • 提供高分辨率视频生成,例如 640x1024 的 I2V 模型,以及 512x320 的 VideoCrafter2 检查点。
  • 支持通过 Hugging Face 下载预训练模型。

使用方式:

  1. 安装环境:推荐通过 Anaconda 安装。
  2. 文本到视频:下载预训练的 T2V 模型(通过 Hugging Face),将 model.ckpt 放入 checkpoints/base_512_v2/model.ckpt,然后在终端输入相应命令。
  3. 图像到视频:下载预训练的 I2V 模型(通过 Hugging Face),将 model.ckpt 放入 checkpoints/i2v_512_v1/model.ckpt。
  4. 本地 Gradio 演示:下载预训练的 T2V 和 I2V 模型,按上述指南放入对应目录。

适用场景:

  • 研究用途,如视频生成和编辑的学术研究。
  • 个人或非商业项目中的视频内容创作。

限制:

  • 该仓库仅用于研究目的,仅限个人、研究或非商业用途。
  • 技术报告目前仍在准备中,暂未提供。
  • 其他具体功能、收费、价格、平台或效果信息暂未提供。