PuLID 是字节跳动(ByteDance Inc)提出的图像生成身份定制方案,论文标题为《PuLID: Pure and Lightning ID Customization via Contrastive Alignment》,已被 NeurIPS 2024 收录,官方代码托管于 GitHub。作者为 Zinan Guo、Yanze Wu、Zhuowei Chen、Lang Chen、Peng Zhang、Qian He。
主要用途:在 AI 图像生成过程中实现人物身份(ID)定制,即在生成图像时保持特定人物的面部身份一致性,同时提供“纯净(Pure)”和“快速(Lightning)”的定制效果。该项目面向 AI 驱动的图像生成领域。
主要能力与版本:
- 提供 v1 代码与模型,并于 2024.05.01 发布。
- 2024.09.12 发布 PuLID-FLUX-v0.9.0 模型。
- 2024.10.31 发布最新模型 PuLID-v1.1 与 PuLID-FLUX-v0.9.1,并更新了 arXiv 论文修订版,包含更多结果、细节与分析。
- 2024.05.23 曾分享 v1.1 模型预览。
- 官方还推荐了 DreamO,一个统一的图像定制框架,支持 ID、IP、试穿(Try-On)和风格任务。
- 支持消费级 GPU:PuLID-FLUX 可在 16GB 显卡上运行;本地 Gradio 演示现已支持 12GB 显卡。
使用方式:
- 依赖环境:Python >= 3.9(推荐使用 Anaconda 或 Miniconda);若不需要 flux-dev-fp8,则 PyTorch >= 2.0,否则需 PyTorch >= 2.4.1。
- 提供本地 Gradio 演示,可本地运行。
- 提供在线 HuggingFace 演示:SDXL 版本见 https://huggingface.co/spaces/yanze/PuLID;FLUX 版本见 https://huggingface.co/spaces/yanze/PuLID-FLUX。
- PuLID-FLUX 的文档与演示可另行查阅。
第三方实现与集成:
- Colab:https://github.com/camenduru/PuLID-jupyter(由 camenduru 提供)。
- Replicate(PuLID):https://replicate.com/zsxkib/pulid(由 zsxkib 提供)。
- Replicate(PuLID-FLUX):https://replicate.com/zsxkib/flux-pulid(由 zsxkib 提供)。
- ComfyUI 原生实现:https://github.com/cubiq/PuLID_ComfyUI(由 cubiq 提供)。
- ComfyUI 基于 diffusers 的实现:https://github.com/ZHO-ZHO-ZHO/ComfyUI-PuLID-ZHO(由 ZHO 提供)。
- SD.Next 实现(由 vladmandic 提供)。
- sd-webui-controlnet 集成:Mikubill/sd-webui-controlnet#2838(由 huchenlei 提供)。
- PuLID-FLUX 多人生成(结合 Regional-Prompting-FLUX,由 Anthony 提供)。
适用场景:AI 图像生成中的人物身份保持与定制,可集成到 Stable Diffusion XL、FLUX、ComfyUI、SD.Next、ControlNet 等工作流中。
限制与责任说明:项目期望对 AI 图像生成领域产生积极影响,用户可自由使用该工具创建图像,但需遵守当地法律并负责任地使用;开发者对用户可能的滥用不承担责任。
其他:如需反馈问题可提交 issue,或联系 Yanze Wu 与 Zinan Guo。