SuperAPI AI 工具集

Dreambooth-Stable-Diffusion

Dreambooth-Stable-Diffusion 是 Dreambooth 论文(https://arxiv.org/abs/2208.12242)在 Stable Diffusion(https://arxiv.org/abs/2112.10752)上的实现,借鉴了 Textual Inversion(https://arxiv.org/abs/2208.01618)的方法。该仓库由 Joe Penna 基于 XavierXiao 的仓库修改,重点优化了人脸、物体和风格的训练。它提供了在 Vast.ai、Google Colab、本地 PC(Windows/Ubuntu)以及 RunPod 上运行的详细指南和 Jupyter notebook。训练需要至少 24GB 显存的 GPU(如 3090),训练后会生成约 2GB 的模型文件。该工具主要用于数字艺术家、电影制作人、概念艺术家等训练自己的角色、风格或肖像,并强调尊重原创作者,避免未经授权训练他人作品。

访问官网

工具介绍

Dreambooth-Stable-Diffusion 是一个基于 Stable Diffusion 的 Dreambooth 实现,旨在通过少量图像对模型进行微调,以学习特定的人脸、物体或风格。该仓库由 Joe Penna 维护,他对原始仓库进行了修改,特别关注人脸训练。项目提供了丰富的指南,包括在 Vast.ai、Google Colab、本地 PC(Windows 和 Ubuntu)以及 RunPod 上运行的步骤。用户可以通过 Jupyter notebook 或命令行进行训练。

主要能力:支持训练人脸、物体和风格;支持在 24GB 显存的 GPU 上运行(如 3090);提供配置文件和命令行参数参考;支持通过字幕(captions)训练多个主体或概念;训练后的模型可用于生成特定主体或风格的图像;提供调试建议。

使用方式:用户需要克隆仓库(git clone https://github.com/JoePenna/Dreambooth-Stable-Diffusion.git),安装依赖,准备训练图像和正则化图像,然后通过命令行或 notebook 运行训练。训练参数包括 project_name、training_model、regularization_images、training_images、max_training_steps、class_word、token 等。生成模型后,在提示词中使用 <token> <class> 格式(例如 "joepenna person")来生成图像。

适用场景:数字艺术家训练自己的角色和风格;电影制作人与概念艺术家沟通;个人训练自己的肖像;漫画设计师等。

限制:需要至少 24GB 显存的 GPU;训练速度可能较慢;该实现未完全实现 Google 保留潜在空间的方法,可能导致所有类似图像向训练主体偏移;连续训练两个主体较困难;训练后模型文件约 11-12GB,需修剪至约 2GB;不鼓励未经授权训练他人作品或使用艺术家名字。