用途:该技能用 FoundationStereo 架构做立体深度估计,从左右图像对预测视差图,用于三维重建,覆盖训练、评估、推理、量化、导出与 TAO Deploy 的 TensorRT 引擎生成、评估和推理。
主要能力:使用预训练的 Depth Anything v2 与 EdgeNeXt 编码器,需设置 model.stereo_backbone.depth_anything_v2_pretrained_path 与 model.stereo_backbone.edgenext_pretrained_path。单目与立体共用容器内统一的 TAO depth_net CLI,通过 model.model_type(如 FoundationStereo)选择模型族。训练层支持 AutoML:处理训练请求前需读 references/skill_info.yaml,依据显式 automl_policy 或用户流程请求决定运行覆盖;若为 off 或缺少打包的 train schema/template 则直接训练,若为 auto 且具备 automl_enabled 与 schema/模板则默认经 tao-skill-bank:tao-run-automl 路由。非训练动作仍留在本模型技能内。
使用方式:数据(左图+右图+GT 视差)必须容器内可达;SDK runner 通过 S3 路径解析,直接 docker run 需只读挂载数据根目录。注解文件每行 2 列(左 右,仅推理)、3 列(左 右 视差)或 4 列(含遮挡掩码),可用 depth_net convert -e <convert_spec.yaml> 生成。按数据类别选择 model_type 与 dataset_name(Middlebury、Kitti、Eth3d、FSD、IsaacRealDataset、Crestereo 或 GenericDataset);2 列推理无论布局都须用 GenericDataset。运行命令形如:docker run --gpus 'device=0' --shm-size 16G --ipc=host --user $(id -u):$(id -g) -v <data_root>:<data_root>:ro -v <output_dir>:<output_dir> <container> depth_net <action> -e <spec.yaml>。验证:退出码 0、status.json 的 kpi 块有值;训练需直接查看 train_loss,评估参考 epe/bp1/bp2/bp3/d1/rmse,推理产物在 results_dir。
限制与注意事项:model.model_type 仅可选 FoundationStereo;encoder 是顶层 model.encoder,非 stereo_backbone 下;model.max_disparity 默认 416,视差溢出需调小;train.precision 支持 fp32(推荐)或 fp16,无 bf16;字段名是 workers 而非 num_workers;TRT 数据类型支持 FP32/FP16,不支持 H/W 动态引擎,须按 (H,W) 分别构建;部署侧评估须 batch_size: 1;不传 --user 时输出属主为 nobody:nogroup。其余具体默认值、部署路径与错误处理见对应参考文档;本资料未提供的收费、价格等信息暂未提供。