Pippo(全称 Pippo: High-Resolution Multi-View Humans from a Single Image)是 Meta Reality Labs、多伦多大学、Vector Institute 与 UC Berkeley 合作提出的生成模型研究项目,已被 CVPR 2025 收录为 Highlight 论文。项目代码托管于 GitHub(facebookresearch/pippo)。
用途 Pippo 旨在解决从单张随意拍摄的人像照片生成高分辨率、多视角人体视图的问题。其核心能力是生成 1K 分辨率的“密集转身视频”(dense turnaround videos),即围绕人物拍摄一周的多视角结果。它不需要额外输入,例如拟合的参数化人体模型或输入图像的相机参数,这使其与许多依赖预处理步骤的多视角生成方法有所不同。
主要能力与技术特点 Pippo 是一个多视角扩散 Transformer(multi-view diffusion transformer)。据官方资料,项目提供不同分辨率的模型训练配置(128、512、1024),以及一个可在较小 GPU 上训练的微型模型配置。此外,代码库中提供了若干可复用的技术组件:用于在扩散 Transformer 中注入空间控制的 ControlMLP、用于在推理时运行 5 倍长序列的 Attention Biasing,以及重投影误差(Re-projection Error)评估指标。官方还计划在未来更新 pippo.py 和 dit.py 的代码清理,以及预训练模型的推理脚本。
使用方式 用户可通过克隆仓库并添加到路径来使用。训练方面,可基于 Ava-256 数据集的小样本启动示例训练,样本以 npy 文件形式提供,需使用 Hugging Face 登录令牌进行下载。若使用自定义数据集,需按照 Ava-256 样本的格式准备数据,其中较困难的 Plücker Rays 和 Spatial Anchor 图像的生成方法也在官方提供的 gist 中给出了实现。此外,可通过命令行计算生成图像与真实图像之间的重投影误差。
适用场景 该项目主要面向计算机视觉与生成式 AI 研究,尤其是多视角人体生成、3D 人体重建、扩散模型等方向的研究人员与开发者。由于提供训练配置和自定义数据流程,也适合希望在此基础之上进行实验和二次开发的团队。
限制 需注意,官方资料中未提供可直接使用的预训练模型推理脚本(计划未来添加),也未提及模型推理速度、显存需求、商用许可等具体信息。使用自定义数据集需要自行实现 Plücker Rays 和 Spatial Anchor 等预处理字段。训练配置和样本数据的具体使用条件需参考 LICENSE 文件。