VideoCrafter 是一个开源的视频生成与编辑工具箱,旨在帮助用户创作视频内容。它目前包含文本到视频(Text2Video)和图像到视频(Image2Video)两种模型。
用途:
- 通用文本到视频生成:根据文本描述生成视频。
- 通用图像到视频生成:根据输入图像生成视频。
主要能力:
- VideoCrafter2 在有限数据下相比 VideoCrafter1 有显著改进,提供更好的运动和概念组合能力。
- 提供高分辨率视频生成,例如 640x1024 的 I2V 模型,以及 512x320 的 VideoCrafter2 检查点。
- 支持通过 Hugging Face 下载预训练模型。
使用方式:
- 安装环境:推荐通过 Anaconda 安装。
- 文本到视频:下载预训练的 T2V 模型(通过 Hugging Face),将 model.ckpt 放入 checkpoints/base_512_v2/model.ckpt,然后在终端输入相应命令。
- 图像到视频:下载预训练的 I2V 模型(通过 Hugging Face),将 model.ckpt 放入 checkpoints/i2v_512_v1/model.ckpt。
- 本地 Gradio 演示:下载预训练的 T2V 和 I2V 模型,按上述指南放入对应目录。
适用场景:
- 研究用途,如视频生成和编辑的学术研究。
- 个人或非商业项目中的视频内容创作。
限制:
- 该仓库仅用于研究目的,仅限个人、研究或非商业用途。
- 技术报告目前仍在准备中,暂未提供。
- 其他具体功能、收费、价格、平台或效果信息暂未提供。