SuperAPI AI 工具集

PuLID

PuLID 是字节跳动开源的人脸身份定制项目,论文被 NeurIPS 2024 收录。它通过对比对齐(Contrastive Alignment)实现纯净、快速的身份定制,可在图像生成中保持人物 ID 一致。项目提供 PuLID(基于 SDXL)与 PuLID-FLUX 两类模型,官方发布 v1 代码与模型、v1.1 及 PuLID-FLUX-v0.9.1 等版本,并支持本地 Gradio 演示与 HuggingFace 在线演示,其中 PuLID-FLUX 经优化可在 16GB 显卡运行,本地 Gradio 演示支持 12GB 显卡。依赖 Python >=3.9、PyTorch >=2.0(不使用 flux-dev-fp8 时)或 PyTorch >=2.4.1。

访问官网

工具介绍

PuLID 是字节跳动(ByteDance Inc)提出的图像生成身份定制方案,论文标题为《PuLID: Pure and Lightning ID Customization via Contrastive Alignment》,已被 NeurIPS 2024 收录,官方代码托管于 GitHub。作者为 Zinan Guo、Yanze Wu、Zhuowei Chen、Lang Chen、Peng Zhang、Qian He。

主要用途:在 AI 图像生成过程中实现人物身份(ID)定制,即在生成图像时保持特定人物的面部身份一致性,同时提供“纯净(Pure)”和“快速(Lightning)”的定制效果。该项目面向 AI 驱动的图像生成领域。

主要能力与版本:

  • 提供 v1 代码与模型,并于 2024.05.01 发布。
  • 2024.09.12 发布 PuLID-FLUX-v0.9.0 模型。
  • 2024.10.31 发布最新模型 PuLID-v1.1 与 PuLID-FLUX-v0.9.1,并更新了 arXiv 论文修订版,包含更多结果、细节与分析。
  • 2024.05.23 曾分享 v1.1 模型预览。
  • 官方还推荐了 DreamO,一个统一的图像定制框架,支持 ID、IP、试穿(Try-On)和风格任务。
  • 支持消费级 GPU:PuLID-FLUX 可在 16GB 显卡上运行;本地 Gradio 演示现已支持 12GB 显卡。

使用方式:

  • 依赖环境:Python >= 3.9(推荐使用 Anaconda 或 Miniconda);若不需要 flux-dev-fp8,则 PyTorch >= 2.0,否则需 PyTorch >= 2.4.1。
  • 提供本地 Gradio 演示,可本地运行。
  • 提供在线 HuggingFace 演示:SDXL 版本见 https://huggingface.co/spaces/yanze/PuLID;FLUX 版本见 https://huggingface.co/spaces/yanze/PuLID-FLUX。
  • PuLID-FLUX 的文档与演示可另行查阅。

第三方实现与集成:

  • Colab:https://github.com/camenduru/PuLID-jupyter(由 camenduru 提供)。
  • Replicate(PuLID):https://replicate.com/zsxkib/pulid(由 zsxkib 提供)。
  • Replicate(PuLID-FLUX):https://replicate.com/zsxkib/flux-pulid(由 zsxkib 提供)。
  • ComfyUI 原生实现:https://github.com/cubiq/PuLID_ComfyUI(由 cubiq 提供)。
  • ComfyUI 基于 diffusers 的实现:https://github.com/ZHO-ZHO-ZHO/ComfyUI-PuLID-ZHO(由 ZHO 提供)。
  • SD.Next 实现(由 vladmandic 提供)。
  • sd-webui-controlnet 集成:Mikubill/sd-webui-controlnet#2838(由 huchenlei 提供)。
  • PuLID-FLUX 多人生成(结合 Regional-Prompting-FLUX,由 Anthony 提供)。

适用场景:AI 图像生成中的人物身份保持与定制,可集成到 Stable Diffusion XL、FLUX、ComfyUI、SD.Next、ControlNet 等工作流中。

限制与责任说明:项目期望对 AI 图像生成领域产生积极影响,用户可自由使用该工具创建图像,但需遵守当地法律并负责任地使用;开发者对用户可能的滥用不承担责任。

其他:如需反馈问题可提交 issue,或联系 Yanze Wu 与 Zinan Guo。