Stable Diffusion web UI 是一个为 Stable Diffusion 模型提供网页图形界面的开源项目,由 Sygil.Dev 创建。它允许用户直接在浏览器中操作 Stable Diffusion,进行文本生成图像、图像生成图像、图像增强、放大以及文本反转训练等任务。
主要能力
- 内置图像增强器和放大器,包括 GFPGAN 和 RealESRGAN。
- 生成器预览:在图像生成过程中实时查看。
- 可在 CPU 上运行额外的放大模型以节省显存。
- 文本反转(Textual Inversion):支持使用和训练自定义嵌入。
- K-Diffusion 采样器集合,包括 k_euler、k_lms、k_euler_a、k_dpm_2、k_dpm_2_a、k_heun、PLMS、DDIM 等。
- 回环(Loopback):自动将上一次生成的样本反馈到图像生成图像。
- 提示词权重与负面提示:通过 :0.## 调整权重,通过 ### 添加负面提示。
- 可从设置选项卡选择 GPU 使用。
- 词语种子(Word Seeds):使用词语代替种子数字。
- 自动启动器:通过单个命令激活 conda 并运行 Stable Diffusion。
- 更低的显存占用:在设置中启用优化模式后,512x512 文本生成图像和图像生成图像可在 4GB 显存上运行。
- 提示词验证:如果提示词过长,会在文本输出字段中收到警告。
- 批量顺序种子:例如使用种子 1000 生成两批各两张图像,四张图像的种子分别为 1000、1001、1002、1003。
- 提示词矩阵:使用 | 字符分隔多个提示词,系统会为每个组合生成图像。
- Gradio 高级图像生成图像编辑器,支持蒙版和裁剪。
- 蒙版绘制:仅重新生成图像中想要更改的特定部分(目前仅 Gradio)。
- 动态实时预览生成结果。
- 可从 WebUI 设置选项卡轻松自定义默认值。
- 集成画廊,展示某个提示词的生成结果。
- 针对更大生成或低端 GPU 优化显存使用。
- 文本到视频:从 WebUI 直接根据文本提示生成视频片段(开发中)。
- 图像到文本:使用 CLIP Interrogator 分析图像并获取可用于生成类似图像的提示词。
- 概念库:运行他人通过文本反转制作的自定义嵌入。
- 文本反转训练:在任意照片上训练自己的嵌入并在提示词中使用。
- 目前正在开发:Stable Horde 集成;ImgLab、批量输入和 Gradio 的蒙版编辑器。
使用方式
项目提供安装说明,用户可按照文档进行安装。界面分为 Streamlit 和 Gradio(旧版)两种。Gradio 界面功能完整,可访问所有放大模型(包括 LSDR),支持动态提示词输入,可快速将生成结果发送到图像生成图像或图像实验室进行放大。但 Gradio 界面不再由 Sygil.Dev 积极开发,仅接收错误修复。
提示词权重与负面提示的使用方法:
- 为某个标记(AI 识别的标签)赋予特定或增加的权重(强调),在提示词后添加 :0.##,其中 0.## 是指定冒号前所有标记权重的十进制数。例如:cat:0.30, dog:0.70 或 guy riding a bicycle :0.7, incoming car :0.30。
- 负面提示可通过 ### 添加,之后任何标记都将被视为负面。例如:cat playing with string ### yarn 将从生成图像中排除 yarn。
- 负面提示是去除上下文相似或相关主题的强大工具,但添加时要小心,因为 AI 可能看到你无法看到的联系,最终输出乱码。
- 提示:尝试使用相同的种子但不同的提示词配置或权重值,观察 AI 如何理解它们,这可以带来更精细、更不易出错的提示词。
图像放大器:
- GFPGAN:使用 GFPGAN 模型改善图片中的人脸。每个选项卡都有一个复选框以 100% 使用 GFPGAN,还有一个单独的选项卡允许对任何图片使用 GFPGAN,并通过滑块控制效果强度。如需使用 GFPGAN 改善生成的人脸,需要单独安装:下载 GFPGANv1.4.pth 并放入 /sygil-webui/models/gfpgan 目录。
- RealESRGAN:将生成图像的分辨率翻倍。每个选项卡都有一个复选框以使用 RealESRGAN,可在常规放大器和动漫版本之间选择。还有一个单独的选项卡用于对任何图片使用 RealESRGAN。下载 RealESRGAN_x4plus.pth 和 RealESRGAN_x4plus_anime_6B.pth,放入 sygil-webui/models/realesrgan 目录。
- LDSR:下载 LDSR project.yaml 和模型 last.cpkt。将 last.ckpt 重命名为 model.ckpt,并将两者放在 sygil-webui/models/ldsr/ 下。
- GoBig 和 GoLatent(目前仅 Gradio 版本):更强大的放大器,使用单独的潜在扩散模型更干净地放大图像。
适用场景
适用于希望通过浏览器界面使用 Stable Diffusion 进行图像生成、编辑、增强和放大的用户,尤其适合希望降低显存占用或在低端 GPU 上运行的用户。也适合需要文本反转训练、提示词矩阵、批量生成等高级功能的用户。
限制
- Gradio 界面不再积极开发,仅接收错误修复。
- 文本到视频功能仍在开发中。
- 部分功能(如蒙版绘制)目前仅 Gradio 版本支持。
- 使用 GFPGAN、RealESRGAN 等需要单独下载模型文件。
- 关于收费、价格、平台支持等具体信息暂未提供。