SuperAPI AI 工具集

一键直达

Hyper-SD 是一种用于高效图像合成的轨迹分段一致性模型,旨在加速扩散模型的多步推理过程。它结合了 ODE 轨迹保持与重规划的优势,通过轨迹分段一致性蒸馏、人类反馈学习和分数蒸馏,在 1 至 8 步推理中实现接近无损的性能。该模型支持 SDXL 和 SD1.5,提供实时生成演示,并发布统一的 LoRA,兼容 ControlNet,可应用于不同基础模型并稳定生成高质量图像。

访问官网

工具介绍

Hyper-SD 是一个针对扩散模型(Diffusion Models, DMs)推理加速的框架,全称为 Trajectory Segmented Consistency Model for Efficient Image Synthesis。其目标是缓解扩散模型多步推理带来的计算开销,同时尽量保持生成质量。

用途: Hyper-SD 主要用于加速基于扩散模型的图像合成,在低步数(1 至 8 步)推理下实现高质量图像生成。它适用于 SDXL 和 SD1.5 架构。

主要能力:

  1. 提出 Trajectory Segmented Consistency Distillation(轨迹分段一致性蒸馏),在预定义的时间步分段内逐步进行一致性蒸馏,从高阶角度保留原始 ODE 轨迹。
  2. 引入人类反馈学习,提升模型在低步数下的性能,并缓解蒸馏过程带来的性能损失。
  3. 集成分数蒸馏,进一步增强低步数生成能力,并首次尝试使用统一的 LoRA 支持所有步数的推理过程。
  4. 采用两阶段渐进一致性蒸馏:第一阶段在 [0, T/2] 和 [T/2, T] 两个时间段分别进行一致性蒸馏,获得两段一致性 ODE;第二阶段利用该 ODE 轨迹训练全局一致性模型。
  5. 在 SDXL 和 SD1.5 上,1 至 8 步推理均达到 SOTA 性能。例如,Hyper-SDXL 在 1 步推理时,CLIP Score 超过 SDXL-Lightning +0.68,Aes Score 超过 +0.51。
  6. 提供实时生成演示(Real-Time Generation Demo)。
  7. 发布统一 LoRA,兼容 ControlNet,示例条件包括 scribble 和 canny 图像。
  8. 定性比较显示,Hyper-SD 在 SDXL 和 SD15 架构上均优于其他基于 LoRA 的加速方法,并获得更多用户偏好。

使用方式: 资料中未提供具体安装命令或代码示例,仅提及提供实时生成演示。用户可访问官网 https://hyper-sd.github.io/ 查看演示。

适用场景: 适用于需要快速生成高质量图像的场景,尤其是基于 SDXL 或 SD1.5 的扩散模型推理加速。可结合 ControlNet 进行条件生成,支持 scribble 或 canny 等条件输入。

限制: 资料中未明确列出限制条件。性能数据基于特定实验和用户研究,实际效果可能因基础模型和配置而异。