TripoSR 是 Tripo AI 与 Stability AI 合作开发的官方开源代码库,提供一种先进的前馈式 3D 重建模型,能够从单张图像快速生成 3D 物体。该模型借鉴了 Large Reconstruction Model(LRM)的原理,在速度和重建质量上都有显著提升,在 NVIDIA A100 GPU 上处理单张输入并生成高质量 3D 模型的时间少于 0.5 秒。根据官方描述,TripoSR 在多个公开数据集上的定性和定量评估中均优于其他开源替代方案,相关模型架构、训练过程和对比细节可查阅其技术报告。
主要能力:
- 从单张图像进行快速前馈式 3D 重建。
- 在 NVIDIA A100 GPU 上生成高质量 3D 模型耗时不到 0.5 秒。
- 支持输出纹理而非仅顶点颜色,可通过 --bake-texture 选项启用,并使用 --texture-resolution 指定输出纹理的像素分辨率。
- 提供手动推理脚本和本地 Gradio 应用。
- 采用 MIT 许可证发布,包含源代码、预训练模型和交互式在线演示。
使用方式:
- 如可用,安装 CUDA。
- 根据平台安装 PyTorch(https://pytorch.org/get-started/locally/),需确保本地安装的 CUDA 主版本与 PyTorch 自带的 CUDA 主版本一致。例如,若安装的是 CUDA 11.x,则需安装使用 CUDA 11.x 编译的 PyTorch。
- 通过 pip install --upgrade setuptools 更新 setuptools。
- 通过 pip install -r requirements.txt 安装其他依赖。
手动推理: 运行脚本后,重建的 3D 模型会保存到 output/ 目录。可以指定多个图像路径,用空格分隔。默认选项下,单张图像输入约需 6GB 显存。若希望输出纹理而非顶点颜色,使用 --bake-texture 选项;也可使用 --texture-resolution 指定输出纹理的像素分辨率。脚本的详细用法可通过 python run.py --help 查看。
本地 Gradio 应用:官方提供了本地 Gradio 应用的运行方式(具体步骤以仓库说明为准)。
适用场景: 该模型面向研究人员、开发者和创作者,旨在推动 3D 生成式 AI 和 3D 内容创作的边界,可用于从单张图像快速重建 3D 物体的研究与开发场景。
限制与注意事项:
- 默认配置下,单张图像输入约需 6GB 显存。
- 需要正确配置 CUDA 与 PyTorch 的版本匹配,否则可能遇到问题。
- 若出现 AttributeError: module 'torchmcubes_module' has no attribute 'mcubes_cuda' 或提示 torchmcubes 未编译 CUDA 支持而使用 CPU 版本,通常是因为 torchmcubes 未使用 CUDA 支持编译。应确保本地 CUDA 主版本与 PyTorch 自带的 CUDA 主版本一致,并确保 setuptools>=49.6.0(否则通过 pip install --upgrade setuptools 升级),然后重新安装 torchmcubes。
- 其他具体平台支持、性能指标或价格信息暂未提供。