用途 Shap-E 是 OpenAI 发布的官方代码和模型,用于生成以文本或图像为条件的 3D 对象,相关论文为《Shap-E: Generating Conditional 3D Implicit Functions》。
主要能力
- 文本条件生成 3D 模型:通过 sample_text_to_3d.ipynb 笔记本,根据文本提示采样生成 3D 模型。
- 图像条件生成 3D 模型:通过 sample_image_to_3d.ipynb 笔记本,根据合成视图图像采样生成 3D 模型。为获得最佳结果,应先去除输入图像的背景。
- 模型编码与重建:通过 encode_model.ipynb 加载 3D 模型或 trimesh,生成一批多视图渲染和点云,将其编码为潜在表示,再渲染回来。此功能需要安装 Blender 3.3.1 或更高版本,并将环境变量 BLENDER_PATH 设置为 Blender 可执行文件的路径。
- 示例展示:仓库提供了文本条件模型可生成内容的示例,并列出选定提示词上的随机样本(见 samples.md)。
使用方式 安装命令为 pip install -e .。随后可参考上述三个示例笔记本开始使用。
适用场景 适用于根据文本或图像生成 3D 对象的实验与开发。
限制 使用图像条件生成时建议先去除输入图像背景;编码模型功能依赖 Blender 3.3.1 或更高版本及正确的 BLENDER_PATH 环境变量。其他未在资料中说明的限制暂未提供。