用途:安装并运行 NVIDIA Asset Harvester,从稀疏自动驾驶(AV)对象观测中提取逐对象 3D Gaussian Splat 资产(gaussians.ply),输入可为 NCore V4 驾驶日志的多视角裁剪或单张带掩码图像,输出可被 NVIDIA Omniverse NuRec 作为外部资产使用,并可选生成 metadata.yaml。上游 Apache-2.0 代码见 https://github.com/NVIDIA/asset-harvester。
主要能力:管线为 SparseViewDiT(多视角扩散,生成 16 个一致视角)加 TokenGS(前馈高斯抬升)。单个 HF 仓库 nvidia/asset-harvester 提供四个检查点:AH_object_seg_jit.pt(AV 对象 Mask2Former)、AH_multiview_diffusion.safetensors(SparseViewDiT)、AH_camera_estimator.safetensors(无标定时估计相机位姿)、AH_tokengs_lifting.safetensors(TokenGS)。
使用方式:先运行 scripts/validate_setup.py 校验 conda、NVIDIA 驱动、GCC 与 HF_TOKEN,再执行 bash setup.sh 一键安装。用 hf auth login 后执行 hf download nvidia/asset-harvester --local-dir checkpoints 下载检查点。三条推理路径分别对应内置示例、单图加掩码、NCore V4 日志。显存低于约 16 GB 时,run_inference.py 加 --offload_model_to_cpu,run.sh 加 --offload。输出目录含 multiview/、3d_lifted/、gaussians.ply 与两个 mp4。可选手动交接 NuRec:orient_gaussians_for_nurec 旋转高斯、generate_external_assets_metadata.py 生成元数据。
适用场景:有 AV 片段或带掩码单图、需要逐对象 3D 资产做仿真,或想本地复现论文与 HF Space 演示时使用。
限制:仅面向 AV 领域,非道路/非 AV 对象属分布外;分割模型类别受限(车辆、行人、自行车、道路物体),任意对象需自带 mask.png;不预测尺度,NuRec 插入从源片段 cuboid 轨迹读取;输入需为 512×512 方形裁剪;最低约 16 GB 显存;仅支持 Linux(Ubuntu 22.04 + CUDA 12.8 测试);benchmark/eval.py 需单独克隆 av-object-benchmark 环境。只做安装与推理,不重新训练模型,也不做全场景重建。