SuperAPI AI 工具集

tao-train-rtdetr

设计与创作

查看项目

更新于 10-16 04:34

技能介绍

用途:RT-DETR(Real-Time DEtection TRansformer)用于 2D 目标检测,面向实时推理,兼顾精度,支持蒸馏与量化以优化部署。本技能覆盖训练、评估、推理、导出、量化、蒸馏及 TAO Deploy 的 TensorRT 流程(gen_trt_engine、TensorRT 评估与推理)。

主要能力与用法:数据格式为 coco、coco_raw,监控指标 val_mAP50。每个动作都必须在 spec_overrides 中构造数据源路径,例如训练用 dataset.train_data_sources 指向 image_dir 的 images.tar.gz 与 json_file 的 annotations.json。常用覆盖包括 train.num_epochs、train.checkpoint_interval、train.num_gpus、dataset.num_classes(默认 80,须与标注一致)、export.input_height/width(默认 640)、gen_trt_engine.tensorrt.data_type 等。模型默认 backbone 为 resnet_50,可选 ResNet、ConvNeXt、FAN、EfficientViT;train.optim.lr 默认 1e-4,lr_backbone 默认 1e-5;train_spatial_size 默认 [640,640];num_feature_levels 默认 3,return_interm_indices 为 [1,2,3];train.enable_ema 默认 False;remap_mscoco_category 默认 False,仅原版 MSCOCO 需要开启。多卡训练用 torchrun,相关参数含 train.num_gpus、gpu_ids、num_nodes、distributed_strategy(ddp/fsdp,fsdp 强制 FP16),多节点依赖 WORLD_SIZE、NODE_RANK、MASTER_ADDR、MASTER_PORT 等环境变量。导出默认 640x640、opset 17,TRT 数据类型支持 FP32/FP16/INT8,workspace 1024MB,max_batch_size 4。蒸馏需配置教师模型路径与蒸馏绑定。AutoML 在模型层启用;除显式关闭(automl_policy: off)外,训练默认经 tao-run-automl 路由,且需 schemas/train.schema.json 与 train.yaml 模板存在。

适用场景:需要实时 2D 检测的部署场景,含量化与 TensorRT 加速。硬件最低 1 GPU,推荐 2 GPU,单卡显存 16GB+(V100/A100)。

限制:显存不足时需降低 batch_size;num_classes 与 return_interm_indices、num_feature_levels 需保持一致;缺失训练 schema 时 AutoML 虽启用但不可运行。具体价格、安装命令与更多教程资料暂未提供。