用途:使用 FastFoundationStereo(FFS,FoundationStereo 的 bp2 商业蒸馏变体)做实时双目深度估计,从校正后的双目图像对视差图进行预测。该技能与单目/立体技能共享统一的 TAO depth_net CLI,通过 model.model_type: FastFoundationStereo 选择 FFS。与 FoundationStereo 的差别仅在逐层剪枝宽度和序列化前向路径,入口、动作、数据集类与部署链相同。
主要能力:支持 train、evaluate、inference、export、gen_trt_engine、inference(deploy)、evaluate(deploy) 七动作流程。提供预训练 bp2 检查点 model_best_bp2_serialize.pth,可用于两类场景:1)原始部署,跳过训练,直接用 bp2 文件做推理/评估/导出/gen_trt_engine;2)在用户数据上微调,将 train.pretrained_model_path 指向 bp2 文件,训练后再验证部署。
使用方式:数据须在容器内可访问;注解文件每行支持两列(左右图)、三列(加视差)或四列(加遮挡掩码)。按数据类型配对 dataset_name(Middlebury、Kitti、Eth3d、FSD、IsaacRealDataset、Crestereo 或 GenericDataset)。必须设置 15 个 bp2 蒸馏宽度覆盖字段,否则会因形状不匹配报错。模型层支持 AutoML:默认 automl_policy: auto 时经 tao-skill-bank:tao-run-automl 路由;关闭(off)或缺少 schema/模板时直接训练。运行示例:docker run --gpus 'device=0' --shm-size 16G --ipc=host --user $(id -u):$(id -g) -v <data_root>:<data_root>:ro -v <output_dir>:<output_dir> -v <bp2_ckpt_dir>:<bp2_ckpt_dir>:ro <container> depth_net <action> -e <spec.yaml>。
适用场景:Middlebury、KITTI、ETH3D、FSD、IsaacReal、Crestereo 等立体数据集,以及非规范数据的通用数据集推理。限制:评估指标中 epe/bp1/bp2/bp3/d1/rmse 有意义,abs_rel/sq_rel/rmse_log 对立体无效;导出始终输出 fp32 ONNX,fp16/fp32 由 gen_trt_engine.tensorrt.data_type 决定;动态形状路径的 fp16 漂移更大且可能 NaN;TAO FFS 部署与上游部署间存在小幅残差视差漂移,需在自有数据实测判断是否可接受;更多参数、硬件与排错详见参考资料,部分细节暂未提供。