SuperAPI AI 工具集

一键直达

FaceChain-FACT 是一种用于人类 AIGC 的人脸适配器(Face Adapter),能够根据用户单张照片快速生成个性化肖像。该工作由 FaceChain 团队提出,是一种零样本(zero-shot)版本,无需训练用户的人脸 LoRA 模型,即可将人脸信息整合到生成过程中。与现有最先进的商业应用相比,其生成速度提升了 100 倍,达到秒级图像生成速度。它集成了基于 Transformer 的人脸特征提取器,结构类似于 Stable Diffusion,使 Stable Diffusion 能更好地利用人脸信息;采用密集细粒度特征作为人脸条件,具有更好的角色还原度;并且与 ControlNet 和 LoRA 插件无缝兼容,即插即用。该页面主要介绍 FaceChain-FACT 的技术原理与生成效果,同时提及可变形神经辐射场(Deformable Neural Radiance Fields)可从随意拍摄的视频中创建自由视角肖像(nerfies)。

访问官网

工具介绍

FaceChain-FACT:人类 AIGC 的人脸适配器

FaceChain-FACT 是一种零样本(zero-shot)人脸适配器,旨在解决人脸定制化图像生成中因人脸高细节带来的挑战。传统的 FaceChain 工作通过训练个人的 LoRA 模型来整合人脸信息并生成定制肖像,但该流程分为训练和推理两个阶段,增加了用户成本。FaceChain-FACT 无需训练人脸 LoRA 模型,仅需用户单张照片即可生成定制肖像。

主要能力与特点:

  • 零样本生成:不需要训练用户的 LoRA 模型,仅需单张照片。
  • 速度提升:相较于 SOTA 商业应用,生成速度加速 100 倍,达到秒级图像生成速度。
  • 人脸特征提取:集成基于 Transformer 的人脸特征提取器,结构类似 Stable Diffusion,使 Stable Diffusion 能更好地利用人脸信息。
  • 细粒度特征:使用密集细粒度特征作为人脸条件,具有更好的角色还原度。
  • 插件兼容:与 ControlNet 和 LoRA 插件无缝兼容,即插即用。
  • 风格多样:通过融合来自 FaceChain 的各种 LoRA 模型,可以生成多种风格的肖像。

技术原理: 系统使用一系列图像预处理,包括人脸分割、人脸裁剪与对齐、手部检测、人脸质量筛选等,以筛选和获取训练数据集。利用基于 Transformer 的人脸特征提取器提取特征,并使用倒数第二层的密集细粒度特征作为人脸条件。Stable Diffusion 通过 FACT-Adapter 接收人脸条件,并与文本嵌入结合生成肖像图像。

使用方式与适用场景: 该页面主要展示 FaceChain-FACT 的技术介绍与生成效果,未提供具体安装命令、代码或使用步骤。适用场景包括个性化肖像生成、人脸定制化图像创作等。与 FaceChain 相比,其优势在于无需训练、速度快、仅需单张照片。

限制: 页面未提供具体的使用限制、平台支持、收费信息或详细操作指南。此外,页面还提及 Deformable Neural Radiance Fields 可从随意拍摄的视频中创建自由视角肖像(nerfies),但未展开说明。