SuperAPI AI 工具集

tao-train-foundation-stereo

设计与创作

查看项目

更新于 10-16 02:34

技能介绍

用途:基于 FoundationStereo 架构进行立体深度估计,从立体图像对预测视差图,用于三维重建。

主要能力:该技能封装 train、evaluate、inference、export、quantize 等 PyT 动作,统一通过容器内 TAO depth_net CLI 调用,单目/立体家族由 model.model_type(如 FoundationStereo)选择。使用预训练的 Depth Anything v2 与 EdgeNeXt 编码器,需设置 model.stereo_backbone.depth_anything_v2_pretrained_path 和 model.stereo_backbone.edgenext_pretrained_path。当前 TAO 镜像的 PyT depth_net 入口不接受 gen_trt_engine,TensorRT 引擎只能通过 deploy 工作流构建。

使用方式:若会话未由 TAO skill bank 插件初始化,先运行 tao-setup。数据需在容器内可访问,标注文件每行 2 列(左 右,仅推理)、3 列(左 右 视差)或 4 列(加遮挡掩码)。可用 depth_net convert -e <convert_spec.yaml> 生成标注。根据数据布局选择 dataset_name:Middlebury、Kitti、Eth3d、FSD、IsaacRealDataset、Crestereo 或 GenericDataset;2 列推理必须用 GenericDataset。训练默认启用 AutoML(automl_policy: on),经 tao-skill-bank:tao-run-automl 路由;关闭时直接训练。运行示例:depth_net <action> -e <spec.yaml>。

适用场景:立体视差估计、三维重建相关训练与评估。

限制:数据源覆盖为必填;deploy 侧评估需 batch_size 为 1;冒烟测试建议 crop_size [128,128]、max_disparity 128,避免 112×112 及 max_disparity 小于裁剪边长;评估指标 epe/bp1/bp2/bp3/d1/rmse 有效,abs_rel 等对立体无意义;AutoML 目标为 val/epe 最小化。更多参数、多 GPU、导出与排错见技能内 references 文档。