DALL·E Mini 是一个开源项目,旨在根据文本提示生成图像。该项目托管在 GitHub 上,仓库地址为 https://github.com/borisdayma/dalle-mini。
用途
DALL·E Mini 的核心用途是根据文本提示(text prompt)生成图像。用户可以在线使用该模型(通过 craiyon),也可以自行安装和运行。
主要能力
- 文本到图像生成:根据输入的文本描述生成相应的图像。
- 提供训练和推理流程:包含推理管道笔记本,可逐步实验。
- 支持模型训练:通过 tools/train/train.py 进行训练,并可调整 sweep 配置文件进行超参数搜索。
- 模型托管:训练好的模型发布在 Hugging Face Model Hub 上,包括用于编码/解码图像的 VQGAN-f16-16384,以及用于从文本提示生成图像的 DALL·E mini 或 DALL·E mega。
使用方式
- 仅推理:使用 pip install dalle-mini 安装。
- 开发:克隆仓库并使用 pip install -e ".[dev]" 安装依赖。提交 PR 前用 make style 检查代码风格。
- 训练:使用 tools/train/train.py 脚本,可调整 sweep 配置文件进行超参数搜索。
- 在线体验:可以通过 craiyon 使用模型。
- 社区项目:可以基于 DALL-E Playground 仓库构建自己的应用,或使用 DALL·E Flow 项目进行生成、扩散和放大的人机协作流程,也可以在 Replicate 上通过浏览器或 API 运行。
适用场景
- 研究人员和开发者探索文本到图像生成模型。
- 希望自行训练或微调图像生成模型的用户。
- 对开源图像生成项目感兴趣的社区成员。
限制
- 项目资料未提供关于生成图像质量、速度、分辨率、语言支持等具体性能指标。
- 未提供收费、价格或商业使用政策信息。
- 未提供明确的平台兼容性说明。
- 部分细节(如模型规模、训练数据)暂未提供。