PixArt-Σ 是一个面向 4K 文本到图像生成的扩散 Transformer 项目，其论文标题为《PixArt-Σ: Weak-to-Strong Training of Diffusion Transformer for 4K Text-to-Image Generation》。该仓库包含 PyTorch 模型定义、预训练权重以及推理/采样代码，用于探索“弱到强训练”方法。项目由华为诺亚方舟实验室、大连理工大学、香港大学、香港科技大学等机构的研究者共同完成，作者包括 Junsong Chen、Chongjian Ge、Enze Xie、Yue Wu、Lewei Yao、Xiaozhe Ren、Zhongdao Wang、Ping Luo、Huchuan Lu、Zhenguo Li。
用途方面，PixArt-Σ 主要用于文本到图像的生成，尤其针对 4K 分辨率场景。它延续了 PixArt-α 项目的工作，并尝试保持代码库尽量简单，方便 PixArt 社区使用和贡献。
主要能力与已发布内容：
- 模型检查点：已发布 256px、512px、1024px、2K 等不同分辨率的检查点。
- 推理与采样：仓库提供推理/采样代码，并支持通过 Gradio 快速启动。
- diffusers 集成：自 2024 年 4 月 24 日起支持 diffusers，可升级 diffusers 以使用 PixArtSigmaPipeline；对于 diffusers<0.28.0 的版本，官方提供了脚本说明。
- LoRA：LoRA 代码已发布。
- One Step Generation (DMD)：PixArt-α-DMD 一步采样器演示代码和 512px 检查点已发布，DMD 一步生成器的训练代码也已发布。
- 训练代码：训练与推理代码及 toy data 已发布，数据支持无需预先特征提取即可训练。
- 在线 Demo：提供 PixArt-Σ Online Demo。
- 其他功能：特征提取（可选）、数据重格式化（可选）。
使用方式方面，依赖环境为 Python >= 3.9（推荐 Anaconda 或 Miniconda），PyTorch >= 2.0.1+cu11.7。训练流程包括：下载 toy dataset、下载预训练检查点、从配置文件目录选择所需配置文件。快速开始可通过 Gradio，需先安装依赖，并将检查点文件下载到 output/pretrained_models 文件夹。diffusers 集成需升级 diffusers 以启用 PixArtSigmaPipeline。此外，仓库还提供将 .pth 检查点转换为 diffusers 版本的说明，并支持从 Hugging Face 直接下载模型。
适用场景包括：文本到图像生成研究、4K 图像生成实验、扩散 Transformer 训练与微调、LoRA 训练与推理、ControlNet 相关开发等。
限制与未提供信息：截至资料所示，LCM、ControlNet、ComfyUI 等标注为“coming soon”，尚未发布。模型 zoo 中“KV Compress...”等内容也标注为计划发布。关于收费、价格、平台限制、生成效果的具体评测指标、硬件最低要求等细节，资料中暂未提供。
