SuperAPI AI 工具集

LTX-Video

LTX-Video 是 Lightricks 推出的基于 DiT 架构的视频生成模型官方仓库,集同步音视频、高保真、多性能模式、生产级输出、API 访问和开放获取于一体。可一次性生成原生 4K 分辨率、最高 50 FPS 且带同步音频的视频。支持图生视频、多关键帧条件、关键帧动画、视频延展(向前与向后)、视频转视频等能力及其任意组合。项目提供在线演示、本地运行、ComfyUI 与 Diffusers 集成,并发布了多个版本与蒸馏模型、控制模型及 LoRA 训练工具。

访问官网

工具介绍

LTX-Video 是 Lightricks 在 GitHub 上发布并维护的官方视频生成模型仓库。根据其官方说明,它是首个基于 DiT 的视频生成模型,将现代视频生成的核心能力集中于单一模型:同步音视频、高保真、多种性能模式、可用于生产的输出、API 访问与开放获取。它可在一次生成中产出原生 4K 分辨率、最高 50 FPS 且带同步音频的视频,并在多样化视频的大规模数据集上训练,可生成内容真实多样的高分辨率视频。

主要能力方面,模型支持图生视频、多关键帧条件、基于关键帧的动画、视频延展(向前和向后)、视频转视频,以及这些功能的任意组合。仓库给出了图生视频与受控视频示例。参数方面,模型适用于可被 32 整除的分辨率与帧数为 8 的倍数加 1(如 257 帧)的输入;若不符合,输入会被填充 -1 再裁剪到目标分辨率与帧数。官方建议分辨率低于 720×1280、帧数低于 257。Guidance Scale 推荐 3–3.5;步数更多(40+)利于质量,更少(20–30)利于速度;可保存 seed 以复现风格或构图。

版本进展方面,2024 年 11 月 21 日发布 v0.9.0 初始版本,支持文生视频与图生视频;2024 年 12 月 20 日发布 v0.9.1,改进质量并支持 STG / PAG、以 Diffusers 格式加载检查点、将未使用部分卸载到 CPU、新的时间步条件 VAE 解码器;2024 年 12 月 31 日发布研究论文;2025 年 2 月 20 日增加更多推理选项,改进时空引导,支持 macOS MPS(PyTorch 2.3.0)、8 位模型 LTX-VideoQ8、TeaCache,并添加 ComfyUI-LTXTricks 与 Diffusion-Pipe;2025 年 3 月 5 日发布 v0.9.5,采用 OpenRail-M 商业许可,支持关键帧与视频延展、更高分辨率,改进提示理解,并在 LTX-Studio 推出在线 Web 应用与自动提示增强;2025 年 4 月 15 日发布 v0.9.6 检查点与蒸馏模型,蒸馏模型推理速度比非蒸馏模型快 15 倍,默认分辨率 1216×704、30 FPS,支持随机推理;2025 年 5 月 5 日发布 13B v0.9.7 模型、FP8 量化模型及时间/空间放大器;2025 年 5 月 14 日发布 13B v0.9.7 蒸馏模型,可在 10 秒内生成 HD 视频、3 秒内生成低分辨率预览(H100),无需无分类器引导与时空引导,支持 8 步或更少扩散步采样,并提供 LoRA 版本(仅需 1GB 显存)与 FP8 量化蒸馏模型;2025 年 7 月 8 日发布深度、姿态、Canny 三种控制模型;2025 年 7 月 16 日发布 v0.9.8 蒸馏模型,支持最长 60 秒视频,包含 13B 与 2B 蒸馏模型,均从同一基座模型蒸馏,可共同用于同一多尺度管线,并发布 LTX-Video-ICLoRA-detailer-13B-0.9.8 细节模型;2025 年 10 月 23 日宣布 LTX-2,为基于 DiT 的音视频基础模型,具备同步音视频生成、原生 4K 与最高 50 fps、最长 10 秒连续片段、相比竞品最高降低 50% 计算成本、多关键帧条件、3D 相机逻辑与 LoRA 微调等特性,其模型权重、代码与基准将在 2025 年晚些时候发布。

使用方式方面,模型可通过 LTX-Studio(13B-mix、13B distilled 图生视频)、Fal.ai(13B full、13B distilled 图生视频)、Replicate 在线使用。代码库在 Python 3.10.5、CUDA 12.2、PyTorch >= 2.1.2 下测试;macOS 的 MPS 在 PyTorch 2.3.0 下测试,应支持 PyTorch == 2.3 或 >= 2.6。本地运行需按 inference.py 中的推理代码操作,可用作库。输入视频片段必须包含 8 的倍数加 1 帧(如 9、17、25),目标帧数应为 8 的倍数。可提供图像和/或短视频片段路径及其目标帧号进行条件生成,并可指定每项的条件强度(默认 1.0)。ComfyUI 集成参见 ComfyUI-LTXVideo;Diffusers 集成参见官方文档,Diffusers 也支持 8 位版本。写提示词时建议按时间顺序详细描述动作与场景,包含具体运动、外观、相机角度与环境细节,采用单段流畅文字,直接以动作开头,描述字面且精确,像摄影师写镜头清单,控制在 200 词内,并给出了推荐结构。直接使用 LTXVideoPipeline 时可通过 enhance_prompt=True 启用提示增强。高级参数可查看 python inference.py --help。

社区贡献方面,ComfyUI-LTXTricks 提供 RF-Inversion、RF-Edit、FlowEdit、I+V2V、增强与插值/帧设置等节点;LTX-VideoQ8 为 8 位优化版本,在 NVIDIA Ada GPU 上最高 3 倍加速且无精度损失,可在 RTX 4060(8GB 显存)上不到一分钟生成 720x480x121 视频,并可用预计算 latent 微调 2B transformer 模型;TeaCache for LTX-Video 是一种免训练缓存方法,利用模型输出间的时间步差异将推理加速最高 2 倍,且无明显视觉质量下降。

限制方面,官方资料指出输入分辨率与帧数需满足整除条件,否则会被填充后裁剪;模型在低于 720×1280 分辨率与低于 257 帧时表现最佳。FP8 内核仅在支持的显卡(Ada 架构及以后)上提供性能提升。LTX-2 的具体模型权重、代码与基准暂未提供,计划于 2025 年晚些时候发布。除上述内容外,关于收费、价格与具体使用步骤等事实暂未提供。