用途:从单张 RGB 图像预测逐像素深度,支持 Metric Depth Anything v2(米制深度)与 Relative Depth Anything(相对深度)两种架构。单目与立体技能共用容器内统一的 TAO depth_net CLI,通过 model.model_type 选择单目/立体家族。
主要能力:PyT 动作包括 train、evaluate、inference、export、quantize;TensorRT 相关动作(gen_trt_engine、TensorRT 评估与推理)需使用 TAO Deploy 容器,先阅读 references/tao-deploy-depth-anything-v2.md。当前 TAO 镜像的 PyT depth_net 入口不接受 PyT 侧 gen_trt_engine。
使用方式:若会话未由 TAO skill bank 插件初始化,先运行 tao-setup。数据需在容器内可达:SDK runner 使用 S3 路径,直接 docker run 时以只读方式挂载数据根目录。标注文件每行格式为 <image> 或 <image> <gt_depth>,可用 depth_net convert -e <convert_spec.yaml> 生成。按数据编码选择 model_type 与 dataset_name:相对深度用 RelativeDepthAnything + RelativeMonoDataset,米制深度用 MetricDepthAnything + MetricMonoDataset;NYU 原始 uint16 毫米 PNG 需用 NYUDV2Relative 或 NYUDV2 以完成单位换算与裁剪。相对数据不要设置 dataset.min_depth/max_depth。训练精度建议 fp32,Ampere SM80+ 可用 bf16。运行示例:docker run --gpus 'device=0' --shm-size 16G --user "$(id -u):$(id -g)" ... depth_net <action> -e <spec.yaml>。
AutoML:模型层支持 AutoML,默认 automl_policy: on,训练请求默认经 tao-skill-bank:tao-run-automl 路由;关闭时走直接训练。监控指标为 val/d1(最大化)与 val/loss(最小化),val/loss 可能为 NaN,不宜作为可靠目标。
适用场景:单目深度估计的训练、评估、推理、导出与量化。
限制:至少 1 块 GPU,推荐 2 块,每卡 24GB+ 显存;ViT-L 编码器内存占用高;ViT-L 单目骨干不支持 FP16。使用通用数据集类处理需单位换算的数据会导致有效掩码为空、train_loss 为 NaN。其余参数、微调配方与错误模式见 references 目录,资料未提供更细内容。