用途：NVPanoptix3D 面向全景 3D 场景重建，从已定位（posed）RGB 图像生成 3D 全景分割结果，包含语义、实例、全景掩码，并带有占据补全。模型以 VGGT 为主干，采用 Mask2Former 风格头部与 3D 视锥重建，使用 2D 与 3D 阶段检查点，可通过 train.checkpoint_2d 与 train.checkpoint_3d 做分阶段初始化。
主要能力与用法：训练数据集类型为 nvpanoptix3d，支持 front3d、matterport 格式，监控指标为 kpi。训练、评估、推理均需在 spec_overrides 中提供数据源路径。训练必需项包括 dataset.frustum_mask_path（meta/frustum_mask.npz）、dataset.label_map（meta/colormap.json）、dataset.train.json_path、dataset.train.base_dir、dataset.val.json_path、dataset.val.base_dir、dataset.test.json_path、dataset.test.base_dir。常用参数有 model.sem_seg_head.num_classes（默认 13）、model.mode（panoptic/instance/semantic，默认 panoptic）、model.backbone_type（vggt）、model.mask_former.num_object_queries（100）、model.mask_former.dec_layers（10）、train.lr（2e-4）、train.precision（fp16/fp32，默认 fp16）。导出会分别生成 2D 与 3D ONNX 模型，TRT 数据类型仅 FP32、FP16，max_voxels 默认 700000。
自动训练策略：该模型在模型层启用 AutoML。处理训练请求前需读取 references/skill_info.yaml，按显式 automl_policy 或用户工作流请求确定本次运行覆盖值；关闭 AutoML 的表述视为本次 automl_policy: off，否则默认 auto。当 auto 且 automl_enabled 为 true 且已打包 schemas/train.schema.json 与 references/spec_template_train.yaml 时，默认经由 tao-skill-bank:tao-run-automl 路由训练动作。仅当 automl_policy: off 或缺少打包 schema/模板时直接训练；缺 schema 时应报告 AutoML 已启用但不可运行。
硬件与限制：最少 2 块 GPU，推荐 4 块，每卡 40GB 以上显存（建议 A100）；3D 重建显存占用高，推荐 fp16，默认启用 activation checkpoint。多卡仅支持 ddp，不支持 fsdp。错误模式包括缺少视锥掩码、下采样系数不匹配（Matterport3D 用 2，Front3D/合成数据用 1）、3D 占据 OOM（可降低 frustum_dims 或 grid_dimensions）。具体价格、许可与部署平台信息暂未提供。