MAL(Mask Auto-Label)是 NVIDIA TAO 技能库中的弱监督分割模型,基于 ViT-MAE 骨干,可从点或框等极少标注生成分割掩码。用途为分割任务的训练、评估与推理。
主要能力:支持 train、evaluate、inference 等动作,每个动作通过 -e 指定 spec;可配置 ViT-MAE 预训练权重,监控指标为 mIoU;模型层启用 AutoML,训练默认走 tao-run-automl,可调 train.lr 与 train.wd。
使用方式:Docker 原生启动,无需 TAO SDK 或主机 Python。示例: docker run "${DOCKER_COMMON[@]}" "$TAO_PYT_IMAGE" mal train -e /specs/train.yaml 同样支持 mal evaluate 与 mal inference。数据源须按规范覆盖,MAL 期望 COCO 风格标注 JSON,且图像路径与 JSON 中 file_name 一致;仅含归档 CSV/图像的原始数据集不兼容。使用 train.pretrained_model_path 指定 ViT-MAE 预训练权重。
适用场景与限制:适用于弱监督分割。数据集类型为 segmentation,格式 default。需至少 1 块 GPU,推荐 2 块,每块 24GB+ 显存(推荐 A100),crop_size=512 时需 24GB+。多卡由 Lightning 管理,无 fsdp;多节点依赖 WORLD_SIZE、NODE_RANK、MASTER_ADDR、MASTER_PORT、NUM_GPU_PER_NODE 等环境变量。
关键参数:model.arch 默认 vit-mae-base/16(避免 vit-deit-tiny/16);train.lr 默认 1e-6;dataset.crop_size 默认 512(勿用 model.crop_size);dataset.load_mask 在标注无分割掩码时设 false,但按 mIoU 选择的 AutoML 校验需要分割真值且 load_mask 为 true。显存不足可降低 crop_size 或选更小变体。若会话未经 TAO 技能库插件初始化,需先运行 tao-setup。其余未提供的信息暂未说明。