CogVideo 是 THUDM（现称 zai-org）开源的项目，包含两个主要模型系列：CogVideo（ICLR 2023）和 CogVideoX（2024 年起）。CogVideo 是首个基于 Transformer 的开源大规模文本到视频生成模型；CogVideoX 是升级版，支持文本到视频、视频续写和图像到视频生成。
用途方面，CogVideo 用于根据文本提示或图像生成视频，适合研究、开发和内容创作。模型在长文本提示下训练，因此官方建议使用大语言模型（如 GLM-4、GPT-4）优化输入提示，以提升生成质量。
主要能力包括：文本到视频生成（CogVideoX-5B-T2V、CogVideoX-2B 等）；图像到视频生成（CogVideoX-5B-I2V 等），以图像为背景结合提示词生成视频，提升可控性；视频续写；以及通过 DDIM Inverse、Lora 微调、量化推理等扩展功能。CogVideoX1.5-5B 系列支持 10 秒视频和更高分辨率，CogVideoX1.5-5B-I2V 支持任意分辨率图像生视频。项目还开源了视频描述模型 CogVLM2-Caption，用于将视频数据转换为文本描述；以及 3D Causal VAE，用于几乎无损重建视频。
使用方式：项目提供多种推理和微调代码。开发者可参考 sat_demo（SAT 权重推理和微调）和 diffusers_demo（基于 diffusers 库的推理代码，含参数说明）。官方提供可直接在免费 Colab T4 上运行的 notebook，如 CogVideoX-5B-T2V-Colab.ipynb、推理量化版本 CogVideoX-5B-T2V-Int8-Colab.ipynb、图像生视频 CogVideoX-5B-I2V-Colab.ipynb、视频生视频 CogVideoX-5B-V2V-Colab.ipynb。另有 cli_demo、cli_demo_quantization、gradio_web_demo、finetune_demo 等脚本。用户需 Python 3.10 至 3.12。CogVideoX 支持通过 PytorchAO、Optimum-quanto 量化文本编码器、Transformer 和 VAE 以降低显存，TorchAO 量化与 torch.compile 兼容；FP8 精度需 NVIDIA H100 及以上设备。
适用场景包括研究人员快速叠代开发、开发者集成视频生成到工作流、内容创作。社区已有多个适配项目，如 CogStudio（Gradio Web UI）、ComfyUI-CogVideoXWrapper、VideoSys、xDiT 多 GPU 推理、cogvideox-factory 单 4090 微调框架、CogVideoX-Fun、ConsisID 身份保持生成、CogVideoX-Interpolation 关键帧插值等。
限制方面，模型仅支持英文输入，其他语言需翻译为英文；CogVideoX-2B 以 FP16 训练，CogVideoX-5B 以 BF16 训练，建议使用对应精度推理；量化推理会降低速度；部分优化在非 NVIDIA Ampere 及以上架构未测试，禁用优化会消耗约 3 倍显存但速度提升约 3 至 4 倍；多 GPU 推理需禁用 enable_sequential_cpu_offload()。代码以 Apache 2.0 许可发布，CogVideoX-2B 模型许可已改为 Apache 2.0。
