Hyper-SD 是一个针对扩散模型(Diffusion Models, DMs)推理加速的框架,全称为 Trajectory Segmented Consistency Model for Efficient Image Synthesis。其目标是缓解扩散模型多步推理带来的计算开销,同时尽量保持生成质量。
用途: Hyper-SD 主要用于加速基于扩散模型的图像合成,在低步数(1 至 8 步)推理下实现高质量图像生成。它适用于 SDXL 和 SD1.5 架构。
主要能力:
- 提出 Trajectory Segmented Consistency Distillation(轨迹分段一致性蒸馏),在预定义的时间步分段内逐步进行一致性蒸馏,从高阶角度保留原始 ODE 轨迹。
- 引入人类反馈学习,提升模型在低步数下的性能,并缓解蒸馏过程带来的性能损失。
- 集成分数蒸馏,进一步增强低步数生成能力,并首次尝试使用统一的 LoRA 支持所有步数的推理过程。
- 采用两阶段渐进一致性蒸馏:第一阶段在 [0, T/2] 和 [T/2, T] 两个时间段分别进行一致性蒸馏,获得两段一致性 ODE;第二阶段利用该 ODE 轨迹训练全局一致性模型。
- 在 SDXL 和 SD1.5 上,1 至 8 步推理均达到 SOTA 性能。例如,Hyper-SDXL 在 1 步推理时,CLIP Score 超过 SDXL-Lightning +0.68,Aes Score 超过 +0.51。
- 提供实时生成演示(Real-Time Generation Demo)。
- 发布统一 LoRA,兼容 ControlNet,示例条件包括 scribble 和 canny 图像。
- 定性比较显示,Hyper-SD 在 SDXL 和 SD15 架构上均优于其他基于 LoRA 的加速方法,并获得更多用户偏好。
使用方式: 资料中未提供具体安装命令或代码示例,仅提及提供实时生成演示。用户可访问官网 https://hyper-sd.github.io/ 查看演示。
适用场景: 适用于需要快速生成高质量图像的场景,尤其是基于 SDXL 或 SD1.5 的扩散模型推理加速。可结合 ControlNet 进行条件生成,支持 scribble 或 canny 等条件输入。
限制: 资料中未明确列出限制条件。性能数据基于特定实验和用户研究,实际效果可能因基础模型和配置而异。