SuperAPI AI 工具集

nre

通用与其它

查看项目

更新于 10-16 07:24

技能介绍

用途:在 Linux x86_64 + NVIDIA GPU 主机上,通过公共 NGC 容器 nvcr.io/nvidia/nre/nre 与 nvcr.io/nvidia/nre/nre-tools,从 NCore V4 相机+LiDAR 片段训练 3DGUT/3DGRT 高斯重建,渲染新视角(本地或 gRPC),生成辅助数据,导出 PLY/深度/网格/ego-mask/tracks,打包 Asset Harvester 输出为 USDZ,并评估渲染指标。

主要能力:训练与验证重建;本地渲染(nre render)或经 sensorsim gRPC API 渲染新视角、LiDAR 扫描;导出 gaussian plys、mesh、ground-mesh、ego-mask、depth、sequence/ncore tracks 等;用 export-external-assets 插入/删除/替换 3D 角色并配合 render-grpc --edit-assets;升级旧 USDZ;检查与评估(export-parsed-config、gaussian-statistics、eval-rendering-metrics 等);容器内查看 USDZ/PLY。

使用方式:先运行 scripts/validate_setup.py 校验 Docker、NVIDIA Container Toolkit、GPU/驱动与 NGC_API_KEY;用 docker login nvcr.io 拉取 nre:latest 与 nre-tools:latest。准备含 <NAME>.zarr.itar、<NAME>.json 及可选 aux 分片的 dataset_dir。按来源数据集选择 Hydra config:Waymo 用 configs/apps/AV/Waymo/3dgut_dynamic.yaml;PAI 用 /apps/prod/Hyperion-8.1/car2sim_6cam.yaml 及其 overlay;PandaSet/NV/Tesla/Alpasim 见 references/configuration.md。训练设 checkpoint.artifact.enabled=true 以便渲染;多 GPU 设 trainer.world_size 与 trainer.num_nodes。渲染可选本地 CLI、预热 serve-grpc + thin_client.py,或 serve-grpc + render-grpc(LiDAR、仿真循环、Difix、角色编辑必需)。长任务按 references/long-running-tasks.md 后台运行并每 5 分钟报状态。

适用场景:把多相机+LiDAR 自动驾驶片段训练为可渲染 USDZ;生成 NuRec 辅助数据;按训练或自定义 rig 渲染;经 gRPC 供 CARLA/Isaac Sim/AlpaSim 等使用;渲染 HuggingFace 门控数据集 nvidia/PhysicalAI-Autonomous-Vehicles-NuRec。

限制:仅 Linux x86_64,不支持 aarch64/Jetson;训练默认配方需 ≥48 GB 显存;多 GPU 默认保守,约 6 卡后质量趋于平台,且多 GPU 与 dataset.aux_data=false 为已知崩溃组合;train 与 val/export 的 --config-name 路径不同;异版本渲染 gRPC 可能拒绝旧产物;export-external-assets 仅接受 Asset Harvester 输出;Difix 变体可插拔(默认 cosmos_difix,旧版 sd_difix),新版 Fixer 属于 nurec-fixer 技能。原始传感器数据需先用 ncore 技能转换;稀疏视图逐物体提取用 asset-harvester;已渲染帧清理用 nurec-fixer。其余事实暂未提供。