用途:在 Grounding DINO 基础上扩展掩码预测头,实现由文本提示引导的开放集实例分割,属于 NVIDIA TAO 技能库中的模型技能,覆盖训练、评估、推理、量化、导出与部署流程。
主要能力:支持分割数据集训练,格式为 odvg、coco、coco_raw,监控指标为 [bbox] val_mAP@50。关键参数包括 model.has_mask 启用掩码头(默认 True)、model.num_region_queries 区域查询数(默认 100)、model.num_queries 对象查询数(默认 900)、train.optim.lr 默认 2e-4、backbone 默认 swin_tiny_224_1k。损失默认 [labels, boxes, masks],含 mask、dice、rela 系数。评估含 ioi_threshold 0.5、nms_threshold 0.2、text_threshold 0.3。
使用方式:每类动作必须按 Per-Action Dataset Requirements 构造数据源并写入 spec_overrides。train 需 train_data_sources(image_dir、json_file、label_map,List 形式)与 val_data_sources(image_dir、json_file)。设置 train.pretrained_model_path 提供完整权重。模型层启用 AutoML,默认 automl_policy: auto 时经 tao-skill-bank:tao-run-automl 执行;用户说关闭 AutoML 等视为本次 automl_policy: off,则直接训练。非训练动作留在本技能。TensorRT 动作需先读 references/tao-deploy-mask-grounding-dino.md。
适用场景与限制:适合开放集分割训练与部署。训练需至少 1 GPU,推荐 4 GPU,单卡 24GB+(推荐 A100),显存需求高于 Grounding DINO。多卡经 Lightning 管理,支持 ddp/fsdp。CUDA 显存不足时降低 batch_size。若 schemas/train.schema.json 与 spec_template_train.yaml 缺失,AutoML 已启用但不可运行,需重新生成。父模型推断映射务必按上文表格处理,不应写回 config.json 或猜测检查点路径。竞价、收费、许可等资料暂未提供。