Stable Diffusion XL（SDXL）是 Stable Diffusion AI 图像生成系统的新版本，由 Stability AI 开发并于 2023 年 7 月发布。资料称，SDXL 通过拥有 60 亿参数的双模型系统带来重大升级，支持 1024x1024 分辨率，能够生成高度逼真的图像和清晰文本，并简化了提示词输入、内置多种预设风格。相较此前版本，它在图像生成的质量、灵活性和创造潜力上有显著提升。
Stable Diffusion 本身是一种基于扩散模型的开源文本到图像工具，由慕尼黑大学 CompVis 团队和 Runway ML 开发，Stability AI 提供计算支持。它可以根据文本描述自动生成高质量图像，还可执行图像修复、扩展和文本引导的图像到图像翻译。其代码、预训练模型和许可证均已开源，允许用户在单个 GPU 上运行，是较早可在用户设备本地运行的开源深度文本生成图像模型之一。
在主要能力方面，Stable Diffusion 可以根据文本提示从零生成新图像，重新绘制现有图像以加入文本描述的新元素，并通过修复和扩展功能修改现有图像。它还支持通过 ControlNet 在保留几何结构的同时改变图像风格和颜色，并可实现人脸替换。用户可通过 Lora、嵌入和负面提示进行个性化定制：Lora 是专门在图像数据集上训练的小型神经网络，用于生成面部、手部或服装等特定细节，下载后放入正确文件夹并在提示中添加关键词即可激活；嵌入则通过在代表所需风格的图像数据集上训练，将文件放入嵌入文件夹并在提示中以冒号括起名称来激活，可生成模仿特定视觉风格的图像；负面提示用于指定不希望出现的内容，例如“画得不好、丑陋、多余的手指”，以减少不想要元素出现的可能性。
使用方式上，用户可访问 stablediffusionai.ai 等网站在线使用，输入描述所需图像的文本提示，调整图像大小和风格等设置，点击“Dream”生成图像，随后选择喜欢的图像下载或分享，并可通过调整提示和设置优化效果。也可以本地安装：在 GitHub 获取代码，访问 github.com/CompVis/stable-diffusion 点击绿色“Code”按钮选择“Download ZIP”下载源代码和模型权重，解压后需要至少 10GB 空闲磁盘空间，以及 Python 和至少 4GB VRAM 的 GPU。安装时需一台运行 Windows 10 或 11 的电脑、至少 4GB 显存的 GPU 和已安装的 Python，下载代码库并解压，下载预训练模型检查点文件和配置文件放入相应文件夹，运行 webui-user.bat 启动 Web 界面，调整采样步骤和推理步骤等设置，并可安装如 Automatic1111 等扩展获取更多功能。本地安装后，除初次下载源代码和模型文件外，可完全脱机运行，推理过程在本地 GPU 上完成，更具隐私性和安全性；而通过网页访问则需要持续的网络连接。
训练方面，资料介绍要训练自己的 Stable Diffusion 模型，需要一组图像-文本对数据集、具有足够显存的 GPU 以及一定的技术技能。步骤包括准备并清理训练数据，修改配置文件指向数据集，设置批量大小、学习率等超参数，启动训练脚本依次训练 VAE、UNet 和文本编码器，实时监控训练进度，训练完成后评估模型性能并按需微调。训练过程计算密集，必要时可租用云端 GPU 实例。
适用场景包括艺术创作、媒体、数字营销项目和个人创作等。资料提到，Stable Diffusion Online 提供了适合初学者和专家的简便在线平台，界面简洁，无需深入技术知识；稳定扩散 AI 图像生成器适用于生成复杂、高质量的图像，可呈现细致的风景、复杂的设计和概念艺术；Stable Diffusion XL 在线专注高分辨率和丰富图像细节，适合专业级项目、大规模艺术作品和精致数字作品。
限制方面，资料指出 Stable Diffusion 的训练数据主要来自英文网页，导致生成结果偏向西方文化；在生成人体四肢和面部时表现不佳；一些用户报告 Stable Diffusion 2 系列在描绘名人和艺术风格方面不如 1 系列，但用户可通过微调增强功能。资料还提醒应意识到训练数据可能带来的偏见，并为生成的内容负责。此外，资料说明“Stable difusion”和“Stable difussion”只是“Stable Diffusion”的拼写错误，并没有叫这两个名字的独立平台。
