Muse: Text-To-Image Generation via Masked Generative Transformers
AI图像工具Muse 是一种基于掩码生成式 Transformer 的文本到图像生成与编辑模型。它在离散 token 空间中进行掩码建模训练:给定从预训练大语言模型提取的文本嵌入,Muse 学习预测随机掩码的图像 token,从而实现高质量的文生图、零样本图像编辑(如局部重绘、扩展绘制、无掩码编辑)等能力。相比扩散模型和自回归模型,Muse 在采样效率和推理速度上具有明显优势,例如在 TPUv4 上生成 512x512 图像仅需 1.3 秒,256x256 仅需 0.5 秒。目前提供 900M 和 3B 两个参数版本,其中 900M 模型在 CC3M 上达到 6.06 FID,3B 模型在零样本 COCO 评估上达到 7.88 FID 和 0.32 CLIP 分数。