用途:本技能是一份使用 HuggingFace Diffusers 库驱动 Stable Diffusion 生成图像的综合指南。适用于:根据文字描述生成图像;图像到图像转换(风格迁移、增强);局部重绘(填充掩码区域);扩图(将图像扩展到边界之外);创建现有图像的变体;搭建自定义图像生成工作流。
主要能力:支持文生图、图生图、局部重绘、ControlNet 空间条件控制、LoRA 微调与风格适配,并覆盖 SD 1.5、SDXL、SD 3.0、Flux 等多种模型。文档列出 Diffusers 的三部分架构:流水线负责编排,模型负责神经网络(UNet/Transformer 预测噪声、VAE 编解码、CLIP/T5 文本编码器),调度器负责去噪算法。
使用方式:先安装依赖 pip install diffusers transformers accelerate torch,可选安装 xformers 以获得更省显存的注意力实现;随后加载 DiffusionPipeline,并指定 stable-diffusion-v1-5/stable-diffusion-v1-5,数据类型设为 float16,将管线移至 CUDA;生成时传入提示词、num_inference_steps、guidance_scale 等参数,再把结果保存为 PNG。文档还给出 SDXL 的 AutoPipelineForText2Image 写法,以及 DPMSolverMultistepScheduler 等调度器替换、固定随机种子、负面提示词、批量生成、图生图 strength 参数、Inpainting 掩码、ControlNet(canny、openpose、depth 等)与 LoRA 加载和卸载的具体代码。
显存优化与常见问题:可通过 enable_model_cpu_offload、enable_attention_slicing、enable_vae_slicing/enable_vae_tiling、xformers 等方式降低占用;另给出 CUDA 显存不足、黑图或噪声图、生成过慢时的排查思路。文档建议在无 GPU 或需要 API 生成时可改用 DALL-E 3、Midjourney、Imagen、Leonardo.ai 等替代方案。
限制:资料未提供收费、价格、平台与效果指标信息;实际运行需要本地 GPU 环境,模型与权重需从 HuggingFace 获取,部分优化依赖特定硬件或额外包(如 xformers、Ampere 以上 GPU 使用 bf16)。