SuperAPI AI 工具集

shap-e

Shap-E 是 OpenAI 发布的官方代码与模型,用于根据文本或图像生成 3D 对象,论文标题为《Shap-E: Generating Conditional 3D Implicit Functions》。项目提供文本到 3D 和图像到 3D 的示例笔记本,以及模型编码回渲染的演示。安装方式为 pip install -e .。使用图像条件时,建议先去除输入图像背景以获得最佳效果;encode_model.ipynb 需要安装 Blender 3.3.1 或更高版本,并设置环境变量 BLENDER_PATH 指向 Blender 可执行文件路径。

访问官网

工具介绍

用途 Shap-E 是 OpenAI 发布的官方代码和模型,用于生成以文本或图像为条件的 3D 对象,相关论文为《Shap-E: Generating Conditional 3D Implicit Functions》。

主要能力

  • 文本条件生成 3D 模型:通过 sample_text_to_3d.ipynb 笔记本,根据文本提示采样生成 3D 模型。
  • 图像条件生成 3D 模型:通过 sample_image_to_3d.ipynb 笔记本,根据合成视图图像采样生成 3D 模型。为获得最佳结果,应先去除输入图像的背景。
  • 模型编码与重建:通过 encode_model.ipynb 加载 3D 模型或 trimesh,生成一批多视图渲染和点云,将其编码为潜在表示,再渲染回来。此功能需要安装 Blender 3.3.1 或更高版本,并将环境变量 BLENDER_PATH 设置为 Blender 可执行文件的路径。
  • 示例展示:仓库提供了文本条件模型可生成内容的示例,并列出选定提示词上的随机样本(见 samples.md)。

使用方式 安装命令为 pip install -e .。随后可参考上述三个示例笔记本开始使用。

适用场景 适用于根据文本或图像生成 3D 对象的实验与开发。

限制 使用图像条件生成时建议先去除输入图像背景;编码模型功能依赖 Blender 3.3.1 或更高版本及正确的 BLENDER_PATH 环境变量。其他未在资料中说明的限制暂未提供。