用途：PhotoMaker 用于个性化文本到图像生成，专注于生成逼真的人物照片。它通过输入多张同一身份的照片，提取人物特征，然后根据文本描述生成新的、个性化的人物图像，风格可涵盖照片、绘画、头像等。
主要能力：
- 将任意数量的输入 ID 图像编码为堆叠 ID 嵌入，作为统一的 ID 表示，既能全面封装同一 ID 的特征，也能容纳不同 ID 的特征以供后续整合。
- 支持多样化应用：包括重情境化（在基本提示下生成）、将艺术作品/老照片中的人物带入现实、改变年龄或性别（通过替换类别词如 man 和 woman）、身份混合（输入不同 ID 的图像，整合特征形成新 ID，可通过控制输入图像池中身份图像的比例或提示权重来调整合并比例）。
- 相比基于测试时微调的方法，具有更好的 ID 保留能力，同时显著提升速度、生成质量高、泛化能力强。
使用方式：
- 用户提供同一身份的多张输入图像，系统将其转换为堆叠 ID 嵌入。
- 在推理阶段，构成堆叠 ID 嵌入的图像可以来自不同 ID。
- 首先从文本编码器和图像编码器分别获得文本嵌入和图像嵌入。
- 然后通过合并相应的类别嵌入（例如 man 和 woman）与每个图像嵌入，提取融合嵌入。
- 接着将所有融合嵌入沿长度维度拼接，形成堆叠 ID 嵌入。
- 最后将堆叠 ID 嵌入馈送到所有交叉注意力层，以自适应地合并扩散模型中的 ID 内容。
- 注意：训练时使用同一 ID 且背景被遮罩的图像，但推理时可直接输入不同 ID 的图像且无背景失真，以创建新 ID。
适用场景：
- 个性化人物照片生成，如为任何人创建照片、绘画或头像。
- 将艺术绘画、雕塑或老照片中的人物带入现代，生成“拍摄”的照片。
- 在保留 ID 属性的同时进行风格化。
- 改变年龄或性别，同时保持原始身份。
- 身份混合，将不同 ID 的特征整合形成新 ID。
限制：
- 关于收费、价格、平台、效果或具体使用步骤的更多信息，暂未提供。
- 项目页面借用了 DreamBooth。
- 论文中讨论了面向 ID 的数据构建管道，但具体细节未在此处展开。
