Framepack AI 是一种面向 AI 视频生成的神经网络结构，由斯坦福大学研究人员开发。其目标不是重新发明视频生成模型本身，而是改进现有视频扩散模型在处理长视频时的能力。
用途
Framepack AI 主要用于长视频生成场景，包括：
- 扩展视频生成：在不造成计算爆炸或质量退化的情况下生成更长、更高质量的视频，适用于短视频到长视频的内容扩展、具有一致性的多分钟叙事，以及内存高效的处理。
- 图像转视频：将静态图像转换为平滑、一致、具有自然运动的视频序列，可用于保留人物身份的照片动画、增强上下文理解以及无缝的时间过渡。
- 文本转视频：从文本提示生成具有更好一致性和时间连贯性的视频，适用于多场景故事讲述、细致提示词解读以及减少视觉退化。
主要能力
Framepack AI 的核心是解决视频生成中的“遗忘-漂移困境”。遗忘指模型难以记住早期内容、无法维持时间依赖的一致性；漂移指误差随时间累积导致画质迭代下降（也称曝光偏差）。传统方法往往在缓解遗忘和抑制漂移之间顾此失彼。
Framepack AI 的关键创新包括：
- 固定上下文长度：无论输入视频多长，计算瓶颈保持恒定，从而能够高效处理更长的视频。
- 渐进式压缩：对不重要帧应用更高的压缩率，优化内存使用，同时保留关键视觉信息。
- 抗漂移采样：一种新的采样方式，生成帧时使用双向上下文，防止质量随时间退化。
- 兼容架构：通过与现有预训练视频扩散模型（如 HunyuanVideo 和 Wan）微调集成，无需从零重新训练。
- 均衡扩散：支持更均衡的扩散调度器，减少极端 flow shift 时间步，以改善视觉质量。
- 更高批次大小：训练批次大小可与图像扩散模型相当，显著加速训练过程。
使用方式
Framepack AI 的渐进式帧压缩技术基于一个长度函数，根据不同帧对预测任务的重要性进行差异化处理。该函数对较不重要的帧应用渐进压缩，确保总上下文长度收敛到一个固定上限，使计算量不随输入视频长度变化。资料中给出的典型相对压缩率几何级数为 1、1/2、1/4、1/8、1/16……，也存在带重复层级的 1、1/4、1/4、1/4、1/16、1/16…… 以及使用时间核（一个张量中包含多帧）的进程方式。
在采样方面，Framepack AI 引入了三种不同时间顺序的生成策略：
- 按时间顺序迭代预测未来帧，但会因误差累积而出现漂移；
- 先生成开头和结尾部分，再填充锚点之间的内容，以防止漂移；
- 按逆序生成帧，特别适合图像转视频，因为它以用户输入的高质量图像作为参考。
适用场景
Framepack AI 适用于需要长时长、高一致性视频生成的场景，例如多分钟叙事内容、照片动画、图像转视频、文本转视频、多场景故事讲述等。其计算效率也使其具备潜在的流式或交互式应用可能性，但资料指出其主要关注点是高质量视频生成，而非实时性能。
限制与硬件要求
资料显示，Framepack AI 在单个 8×A100-80G 节点上、使用 13B 参数模型、480p 分辨率时，可达到 64 的批次大小，而传统视频扩散约为 16 样本/批次。训练推荐使用 8× A100-80GB GPU；推理可使用单个 A100-80GB 或 2× RTX 4090；480p 视频生成的内存占用约为 40GB。它支持多分辨率训练和宽高比分桶，最小单元尺寸为 32 像素，并在 480p 下使用多种分辨率桶。关于实时应用，资料仅表示其计算效率在进一步优化后显示出潜力，并未承诺实时能力。
