FramePack 是论文《Frame Context Packing and Drift Prevention in Next-Frame-Prediction Video Diffusion Models》的官方实现和桌面软件。其核心是一种下一帧（下一帧段）预测的神经网络结构，能够逐步生成视频。FramePack 将输入上下文压缩到恒定长度，因此生成工作量不随视频长度增加而增加。这一设计使得即便在笔记本 GPU 上，使用 13B 模型也能处理非常大量的帧；同时训练时可以使用与图像扩散训练相近的更大批次。官方描述为“视频扩散，但感觉像图像扩散”。
主要能力与特点
- 逐步生成视频：模型按帧或帧段进行预测，你会直接看到生成的帧，在完整视频生成前就能获得大量视觉反馈。
- 恒定计算负载：上下文被压缩到固定长度，生成工作量与视频长度无关。
- 低显存需求：使用 13B 模型生成 1 分钟（60 秒、30fps、1800 帧）视频，最低仅需 6GB 显存，笔记本 GPU 也可运行。
- 训练友好：支持更大批次训练，类似于图像扩散训练的批次大小。
- 桌面软件：该仓库是功能完整的桌面软件，包含最小化独立的高质量采样系统和内存管理。
使用方式
- 系统要求：支持 fp16 和 bf16 的 Nvidia GPU（RTX 30XX、40XX、50XX 系列；GTX 10XX/20XX 未测试）；Linux 或 Windows 操作系统；至少 6GB 显存。
- 一键包：提供“One-Click Package (CUDA 12.6 + Pytorch 2.6)”下载。下载后解压，运行 update.bat 更新，运行 run.bat 启动。官方强调运行 update.bat 很重要，否则可能使用存在未修复 bug 的旧版本。模型会自动下载，需从 HuggingFace 下载超过 30GB。
- 手动安装：建议使用独立的 Python 3.10。启动 GUI 需运行相应命令，支持 --share、--port、--server 等参数。
- 注意力内核：软件支持 PyTorch attention、xformers、flash-attn、sage-attention，默认使用 PyTorch attention。官方建议先不安装 sage-attention 尝试，因为它会影响结果（尽管影响很小）。
- 界面操作：左侧上传图像并写入提示词，右侧显示生成的视频和潜在预览。由于是下一帧段预测模型，视频会越来越长，你会看到每个片段的进度条以及下一片段的潜在预览。初始进度可能比后续扩散慢，因为设备需要预热。
适用场景与示例
官方提供了图生 5 秒、图生 1 分钟等示例。例如上传一张图片并复制提示词“The man dances energetically, leaping mid-air with fluid arm swings and quick footwork.（所有默认参数，关闭 teacache）”即可生成视频。官方强调，如果界面中得到的视频很短（如仅 1 秒），这是完全正常的，只需等待，更多片段会被生成以完成视频。官方还提供了提示词指南，推荐使用 ChatGPT 模板从图片生成提示词，或自己编写简洁提示词。
限制与注意事项
- 速度参考：在 RTX 4090 桌面端，未优化时约 2.5 秒/帧，使用 teacache 约 1.5 秒/帧；在 3070ti 或 3060 笔记本上约慢 4 至 8 倍。如果速度远慢于此，需排查问题。
- TeaCache 和量化影响：TeaCache 并非无损，有时会显著影响结果（约 30% 用户会得到不同结果，其余 70% 因硬件不同得到其他随机结果）。官方建议使用 teacache 尝试想法，再用完整扩散过程获取高质量结果；该建议同样适用于 sage-attention、bnb quant、gguf 等。
- 硬件敏感性：下一帧段预测模型对噪声和硬件的细微差异非常敏感，不同设备通常得到略微不同的结果，但整体应相似；某些情况下可能得到完全相同的结果。
- 官方声明：该 GitHub 仓库是唯一官方 FramePack 网站，官方没有网络服务。其他网站均为垃圾和虚假网站，包括但不限于 framepack.co、frame_pack.co、framepack.net、frame_pack.net、framepack.ai、frame_pack.ai、framepack.pro、frame_pack.pro、framepack.cc、frame_pack.cc、framepackai.co、frame_pack_ai.co、framepackai.net、frame_pack_ai.net、framepackai.pro、frame_pack_ai.pro、framepackai.cc、frame_pack_ai.cc 等。不要向这些网站付款或下载文件。
版本更新
- 2025 年 7 月 14 日：上传了一些 FramePack-P1 的纯文生视频抗漂移压力测试结果，使用常见提示词，无参考图像。
- 2025 年 6 月 26 日：上传了一些 FramePack-P1 的结果。FramePack-P1 将是 FramePack 的下一版本，包含两项设计：Planned Anti-Drifting 和 History Discretization。
- 2025 年 5 月 3 日：发布 FramePack-F1。
