DreamLite 是 ECCV 2026 论文《DreamLite: A Lightweight On-Device Unified Model for Image Generation and Editing》的官方实现，由 ByteVisionLab 开发。
用途 DreamLite 面向端侧图像生成与编辑场景，目标是在移动设备上以极低延迟完成文生图和文本引导的图像编辑，且不依赖云端处理。
主要能力
- 统一架构：在单一网络架构内同时支持文本到图像生成和文本引导的图像编辑。
- 轻量模型：模型规模为 0.39B，基于剪枝的移动端 U-Net 骨干。
- 多模态条件统一：通过 In-Context Spatial Concatenation 直接在潜在空间中统一多模态条件。
- 超快推理：借助渐进式步数蒸馏实现 4 步推理，在 iPhone 17 Pro 上约 3 秒生成或编辑 1024×1024 图像（使用 4-bit Qwen-VL 与 fp16 VAE+UNet），完全端侧运行、零云端依赖。
- 两个模型变体：DreamLite-base（28 步，高保真）与 DreamLite-mobile（4 步，超快），用于在视觉保真度与端侧推理延迟之间取得平衡。
- 生态集成：已合并进官方 Hugging Face Diffusers 库（待下一次发布），可通过 diffusers 直接加载运行。
- 社区扩展：社区贡献了 dreamlite-comfyui-lowvram，提供 ComfyUI 自定义节点与低显存推理管线，可在 4 GB 显存的 NVIDIA GPU（如 GTX 1650 Ti）上以 1024×1024 运行 DreamLite-base，通过顺序 CPU offload、float32 精度以及保留分组查询注意力布局的 GQA 感知查询 token 注意力切片策略实现，并附带 DreamLite-base 与 DreamLite-mobile 的 ComfyUI 工作流及分块 RealESRGAN 放大支持。
使用方式
- 环境准备：将模型权重（DreamLite-base 与 DreamLite-mobile）放入指定目录结构。
- 通过 Diffusers 推理：由于改动尚未进入稳定版 Diffusers，需从源码安装最新 main 分支。模型权重托管在 Hugging Face 仓库的 diffusers 分支：carlofkl/DreamLite-base（28 步，高保真）与 carlofkl/DreamLite-mobile（4 步，超快）。当前访问受限，需先通过 Access Request Form 申请，获批后会收到 Hugging Face 访问令牌，用该令牌在本地登录；from_pretrained(..., revision="diffusers") 会在首次使用时自动下载权重。也可用同一令牌通过 CLI 预下载权重，再从本地路径加载：DreamLitePipeline.from_pretrained("models/DreamLite-base", torch_dtype=dtype)。随后用少量代码即可加载并运行 DreamLite。
- 通过 CLI 推理：可使用项目提供的命令行界面生成或编辑图像。
- 基准评测：提供 GenEval 与 ImgEdit 的完整基准评测脚本，运行前需在 tools/benchmark/infer_geneval.py 与 tools/benchmark/infer_imgedit.py 中配置本地数据集路径。
- 交互式 Gradio 演示：提供基于 Gradio 的网页界面，可在 Hugging Face Spaces 试用在线演示，也可在本地机器（GPU/CPU）部署运行。
- LoRA 微调：提供完整的 LoRA 微调与推理支持，可在自有领域数据集上对 DreamLite 进行轻量定制，详见专门的 LoRA Fine-Tuning Guide。
- 端侧部署：提供完整的 iOS 端侧部署参考，包括模型导出脚本（CoreML + mlx-vlm 4-bit 量化）、修改后的 Swift 库文件与 iOS 应用源码。
适用场景
- 移动端或端侧设备上的实时文生图与图像编辑。
- 无网络或需避免云端处理的隐私敏感场景。
- 在自有领域数据上进行 LoRA 轻量定制。
- 在低显存 GPU 上通过 ComfyUI 运行。
- 学术研究中的生成与编辑基准对比。
限制
- 模型权重当前处于安全审查阶段，需填写 Access Request Form 申请访问。
- 模型仅限非商业、研究用途；严禁生成、编辑或传播色情、暴力、歧视或其他违法内容；严禁商业使用与公开再分发模型权重。
- 代码采用 Apache-2.0 许可，模型权重采用 CC BY-NC 4.0（见 WEIGHTS_LICENSE）。
- Diffusers 集成尚未进入稳定版，需从源码安装 main 分支。
- 部分演示若无法在 GitHub 原生渲染，需访问项目页观看。
开源计划 发布 arXiv 论文、发布推理代码、发布 LoRA 训练、在 HuggingFace 发布模型权重、发布在线演示、端侧部署参考。
致谢 项目致谢 SDXL、SnapGen、Qwen 与 TAESDXL 的工作，由 Prof. Wangmeng Zuo 指导。
