用途:面向多相机时序 3D 目标检测与跟踪,通过稀疏查询和可变形注意力跨相机视角与时间进行端到端 3D 感知,并用 instance bank 完成时序跟踪,属于 TAO 技能体系中的模型技能。
主要能力:支持 dataset_convert、train、evaluate、inference、export、quantize、deploy 等动作。数据集类型为 sparse4d,格式 ovpkl,监控指标 val_mAP。需先运行 dataset_convert 生成标注 pickle 和 anchor_init.npy,否则后续动作无法进行。
使用方式:模型层已启用 AutoML。处理 train 请求前需读取 references/skill_info.yaml 确定 automl_policy;用户说关闭 AutoML 时本次设为 off,否则默认 auto。auto 且 schemas/train.schema.json 与 references/spec_template_train.yaml 均存在时,默认经 tao-skill-bank:tao-run-automl 走 AutoML;policy 为 off 或 schema/template 缺失时改用直接训练,后者需报告 AutoML 已启用但不可运行。evaluate、inference、export、deploy 仍在本技能内处理。每个动作必须在 spec_overrides 中提供数据源路径,anchor 指向 dataset_convert 结果中的 anchor_init.npy。
关键参数:骨干默认 resnet_101,neck 输出 256,输入默认 [1408,512],检测查询 300,解码层 6,默认开启时序;batch_size 默认 2,num_frames 默认 200,精度默认 bf16,学习率 5e-5。
硬件与限制:至少 2 GPU,推荐 8 GPU,单卡 40GB 以上显存,多卡强推荐,不支持 fsdp。若时序训练显存不足,可减小 num_frames 或 batch_size。使用 Lightning 启动,多机环境变量由编排器设置。