Lumina-DiMOO 是一个面向多模态生成与理解的全开源全能基础模型。其核心特点是采用完全离散的扩散建模架构,统一处理文本、图像等多种模态的输入和输出,这与以往的统一多模态模型形成明显区别。
主要能力方面,Lumina-DiMOO 支持广泛的多模态任务:文本到图像生成(支持任意分辨率)、图像到图像生成(包括图像编辑、主体驱动生成、图像修补等),以及高级图像理解。官方称其在多个基准测试上取得了最先进性能,超过现有开源统一多模态模型。在采样效率上,相比此前的自回归(AR)或混合 AR-扩散范式,Lumina-DiMOO 表现更优,并设计了专门的 Max Logit-based Cache(ML-Cache)方案,可将采样速度进一步提升 2 倍。
使用方式上,项目开源了模型检查点(HuggingFace)、文本到图像与图像到图像生成推理代码、图像理解推理代码、训练代码、微调代码、图像修补与扩展代码、基准评测代码,并已添加对 Diffusers 和 ComfyUI 的支持。文本到图像推理支持多 GPU 并行采样的 ddp 脚本,可添加 --use-cache 参数以通过 ML-Cache 加速采样,效率与质量的权衡可通过 cache_ratio、warmup_ratio、refresh_interval 等参数调节。微调方面,官方提供了样本 json 文件 assets/mmu_sample.json 和 assets/t2i_sample.json 作为格式参考。基准评测使用 OpenCompass 的 VLMEvalKit,支持 5 个基准,并需要配置 LLM 作为评判模型,在 VLMEvalKit/.env 中填写 OPENAI_API_KEY 和 OPENAI_API_BASE。
适用场景包括多模态生成与理解的学术研究、图像生成与编辑应用开发、模型微调与评测等。限制方面,官方说明文本生成以块状方式进行,不像图像生成使用单次全局解码步骤,其速度受块数和步数影响,因此图像理解的速度提升不如图像生成显著。具体安装步骤、性能数据、支持硬件等信息在提供的资料中未完整展开,暂未提供详细内容。