Stable Cascade 是 Stability AI 发布的官方代码库，提供训练与推理脚本以及多种可使用的模型。该模型基于 Würstchen 架构，与其他模型（如 Stable Diffusion）的主要区别在于它工作在更小的潜在空间。官方指出，潜在空间越小，推理速度越快，训练成本也越低。
压缩机制与效率：Stable Diffusion 使用 8 倍压缩，1024×1024 图像被编码为 128×128；Stable Cascade 实现 42 倍压缩，可将 1024×1024 图像编码为 24×24，同时保持清晰重建。文本条件模型随后在这个高度压缩的潜在空间中训练。该架构的早期版本相比 Stable Diffusion 1.5 实现了 16 倍成本降低。因此，这类模型适合对效率要求较高的用途。官方还说明，finetuning、LoRA、ControlNet、IP-Adapter、LCM 等已知扩展均可用于该方法，其中 finetuning、ControlNet、LoRA 已在训练与推理部分提供。
模型结构：Stable Cascade 由三个模型组成——Stage A、Stage B 和 Stage C，构成生成图像的级联流程，这也是名称“Cascade”的由来。Stage A 与 Stage B 用于压缩图像，类似 Stable Diffusion 中 VAE 的作用，但可实现更高的图像压缩。Stage C 负责根据文本提示生成 24×24 的小型潜在表示。其中 Stage A 是 VAE，Stage B 与 Stage C 是扩散模型。
模型版本：本次发布提供两个 Stage C 检查点、两个 Stage B 检查点和一个 Stage A 检查点。Stage C 有 10 亿和 36 亿参数两个版本，官方强烈推荐使用 36 亿参数版本，因为其微调投入最多。Stage B 的两个版本分别为 7 亿和 15 亿参数，两者都能取得良好结果，但 15 亿参数版本在重建细小细节方面表现更优。因此使用各阶段的较大版本可获得最佳效果。Stage A 包含 2000 万参数，因其规模较小而固定。
主要能力与使用方式：运行模型可通过推理部分提供的 notebook 完成，其中包含下载模型、计算需求以及使用教程等更多细节。官方提供四个 notebook 覆盖以下用例：
- 一个紧凑 notebook，提供文本到图像、图像变体和图像到图像的基本功能。示例提示为“Cinematic photo of an anthropomorphic penguin sitting in a cafe reading a book and having a coffee.”。
- 图像变体：模型可理解图像嵌入，从而生成给定图像的变体，此处未给出提示词。其工作原理与常规方式相同，将图像加噪至特定程度，再让模型从该起点生成。示例中左侧图像加噪至 80%，标题为“A person riding a rodent.”。此外，模型也可在 diffusers 库中使用。
- ControlNet：该 notebook 展示如何使用官方训练的 ControlNet，或使用自行训练的 ControlNet。本次发布提供 Inpainting / Outpainting 与 Super Resolution。Face Identity ControlNet 将在后续发布。这些均可通过同一 notebook 使用，只需为每个 ControlNet 更改配置。
- LoRA：官方提供自己的实现，用于训练和使用 Stable Cascade 的 LoRA，可用于微调文本条件模型（Stage C），包括添加和学习新 token，以及为模型添加 LoRA 层。notebook 展示如何使用训练好的 LoRA。例如，用特定训练图像在“my dog”上训练 LoRA 后，给定提示“Cinematic photo of a dog [fernando] wearing a space suit.”即可生成相应图像。
自编码器复用：对于希望从头训练自己的文本条件模型（甚至使用与官方 Stage C 完全不同的架构）的人，可使用 Stable Cascade 所用的（Diffusion）Autoencoder 在高压缩空间中工作。就像人们使用 Stable Diffusion 的 VAE 训练自己的模型（如 Dalle3）一样，可以同样使用 Stage A 与 B，同时受益于更高的压缩，从而更快地训练和运行模型。notebook 展示如何编码和解码图像以及具体收益。例如，对维度为 4 x 3 x 1024 x 1024 的图像批次，可编码为 4 x 16 x 24 x 24 的压缩尺寸，空间压缩因子为 1024 / 24 = 42.67；之后再用 Stage A 与 B 解码回 4 x 3 x 1024 x 1024。官方称重建结果与小细节的接近程度令人惊讶，标准 VAE 等无法实现这样的重建。
训练：官方提供从头训练 Stable Cascade、微调、ControlNet 和 LoRA 的代码，详细说明见训练文件夹。
安装与运行：官方说明先运行以下命令安装 gradio 和 diffusers，然后在项目根目录运行相应命令。代码库处于早期开发阶段，可能遇到意外错误或训练与推理代码未完全优化，官方对此致歉，并表示如有兴趣将继续发布更新，引入最新改进与优化，也欢迎想法、反馈或贡献。
许可证：仓库全部代码采用 MIT LICENSE；模型权重可从 Hugging Face 按说明获取，遵循 STABILITY AI NON-COMMERCIAL RESEARCH COMMUNITY LICENSE。
适用场景与限制：适用于对效率要求较高的图像生成、文本到图像、图像变体、图像到图像、ControlNet（Inpainting / Outpainting、Super Resolution）、LoRA 微调以及自编码器复用等场景。限制方面，代码库处于早期开发阶段，可能存在错误或性能未优化；模型权重为非商业研究社区许可，具体商用条件文中未提供；Face Identity ControlNet 尚未发布。
