用途:本资料是使用 HuggingFace Diffusers 库运行 Stable Diffusion 生成图像的指南,适用于文生图、图生图(风格迁移、增强)、局部重绘(inpainting)、扩图(outpainting)、生成变体以及搭建自定义图像生成流程。
主要能力:支持文生图、图生图、局部重绘、ControlNet 空间条件控制(边缘、姿态、深度等)、LoRA 微调与风格适配,以及 SD 1.5、SDXL、SD 3.0、Flux 等多种模型。
使用方式:先安装依赖 pip install diffusers transformers accelerate torch,可选 pip install xformers。通过 DiffusionPipeline 或 AutoPipelineForText2Image 等加载模型并 to("cuda"),调用 pipe(prompt, num_inference_steps, guidance_scale) 生成图像。可替换调度器(如 DPMSolverMultistepScheduler、LCMScheduler)加快生成,用 generator 固定随机种子复现结果,用 negative_prompt 排除内容。图生图使用 AutoPipelineForImage2Image 并设置 strength;局部重绘使用 AutoPipelineForInpainting 并传入 mask_image;ControlNet 通过 ControlNetModel 加载;LoRA 用 load_lora_weights 加载并可用 fuse_lora 调整强度。
适用场景:需要本地 GPU 生成或改造图像、构建自定义生成工作流时使用。若无需 GPU 可考虑 DALL-E 3,追求艺术风格可考虑 Midjourney,Google Cloud 集成可考虑 Imagen,网页创作流程可考虑 Leonardo.ai。
限制:资料未提供具体收费、价格与平台信息;显存不足、黑图或噪声图、生成缓慢等问题需通过显存优化、精度调整或更换调度器处理。