UAE 是一个统一多模态框架，由 PKU-YuanGroup 开发，论文题为“Can Understanding and Generation Truly Benefit Together — or Just Coexist?”。该框架旨在解决多模态理解与生成如何真正协同的问题。
用途：UAE 用于统一多模态学习，即在同一框架内同时进行图像理解（图像到文本）和图像生成（文本到图像），并量化两者之间的统一程度。
主要能力：
- UAE 基于自编码器思想，将理解作为编码器（I2T），生成作为解码器（T2I），使用重建相似度作为显式目标来量化跨模态一致性。
- Unified-GRPO 是首个联合优化理解与生成模块的强化学习方案，包含两个互补步骤：生成促进理解（训练编码器生成更高质量描述以提升重建质量）和理解促进生成（利用这些描述优化解码器重建），形成正反馈循环。
- 观察到多模态学习中的“顿悟时刻”：随着强化学习推进，编码器自主生成更长、更描述性的文本，同时解码器实现高度逼真的重建。
- Unified-Bench 是首个专门设计用于衡量多模态模型统一程度的基准，而非单独评估生成或理解能力。
使用方式：
- 下载所需模型检查点：Stable Diffusion 3.5 Large 模型、UAE 微调权重、视觉语言模型检查点（Qwen-2.5-VL-3B 及其 LoRA）。
- 在 demo.py 中更新模型路径，包括 "SD3"（Stable Diffusion 3-Large 官方权重路径）、"dit"（预训练 DiT 权重）、"dit_lora"（Unified-GRPO 第三阶段获得的 DiT LoRA）、"llm"（预训练 Qwen-2.5-VL-3B 权重）、"llm_lora"（Unified-GRPO 第二阶段获得的 Qwen-2.5-VL-3B LoRA）、"llm_processor"（Qwen-2.5-VL-3B 官方配置，位于 ./Checkpoints/llm_processor）。
- demo.py 支持两种模式：文本到图像生成和图像到文本理解/描述。
- 评估框架位于 Unified-Bench/ 目录，支持 CLIP、DINO v2、DINO v3、LongCLIP 等相似度指标。运行统一评估脚本进行评估。
- Unified-Bench/UniBench/ 包含评估基准，Image 文件夹数据可从链接下载。评估生成统计信息，支持自定义评估，只需按 UniBench 结构组织图像并确保名称匹配。
适用场景：适用于多模态统一学习研究、图像生成与理解联合训练、强化学习在多模态中的应用、以及评估多模态模型统一程度的基准测试。
限制：项目尚未提供具体收费、价格、平台或商业使用信息，所有内容以官方仓库发布为准。
