用途:面向 2D 目标检测,基于 Deformable DETR,使用可变形注意力高效处理多尺度特征,比 DINO 更轻量且精度有竞争力。数据集类型为 object_detection,格式支持 coco、coco_raw,监控指标为 val_mAP50。
主要能力:提供 train、evaluate、inference、export、quantize、gen_trt_engine 等动作。训练默认使用预训练骨干权重,可通过 model.pretrained_backbone_path 仅加载骨干。评估动作可选,提供后按检查点间隔计算验证 mAP。导出默认输入 640x640、opset 17;TRT 支持 FP32、FP16、INT8,工作区 1024 MB,max_batch_size 为 1。
使用方式:每个动作都必须在 spec_overrides 中构造并传入数据源路径。示例:train 需设置 dataset.train_data_sources 与 dataset.val_data_sources(image_dir 为 images.tar.gz,json_file 为 annotations.json),并常配 train.num_epochs、checkpoint_interval、validation_interval、num_gpus 及 dataset.num_classes。evaluate 用 dataset.test_data_sources.image_dir/json_file;gen_trt_engine 用 gen_trt_engine.tensorrt.calibration.cal_image_dir 等。
AutoML 策略:该模型在模型层启用 AutoML。处理训练请求前需读取 references/skill_info.yaml,并依据显式 automl_policy 或用户请求解析本次运行的覆盖值。"turn off AutoML"、"no HPO" 等视为本次 automl_policy: off,否则默认 auto。当 automl_policy: auto、automl_enabled: true 且 train schema 与模板已打包时,训练默认经 tao-skill-bank:tao-run-automl 路由;仅当 automl_policy: off 或 schema/模板缺失时直接训练,缺失时需说明 AutoML 已启用但暂不可运行。部署 TensorRT 相关动作前先读 references/tao-deploy-deformable-detr.md。
适用场景与限制:适用于 COCO 类目标检测训练与 TensorRT 部署。硬件最低 1 GPU、推荐 4 GPU,每卡显存 16GB+(V100 或 A100),batch_size=4 通常可放入。使用限制包括:num_select 须小于 num_queries 乘 num_classes;return_interm_indices 长度须匹配 num_feature_levels;数据集体量小于总 batch size 时需降低 batch_size 或 num_gpus;CUDA 显存不足时依次降至 2、1。骨干支持 resnet_50、gcvit_tiny/small/base/large/large_384,比 DINO 更受限。运行时不假设存在 ~/tao-core。其余价格、平台或效果信息暂未提供。