用途:OneFormer 面向通用图像分割,用一套架构和任务条件查询统一全景(panoptic)、实例(instance)与语义(semantic)分割,适用于 COCO 等分割数据集的训练、评估、推理、导出与量化。
主要能力:支持 train、evaluate、inference、export、quantize 等动作,监控指标为 mIoU;数据集类型为 segmentation,格式支持 coco_panoptic 与 coco。可设置 model.sem_seg_head.num_classes(默认 133)、model.backbone.name(默认 D2SwinTransformer)、train.num_epochs(默认 50)、train.optim.lr(默认 1e-5)。model.task_toggling 控制 semantic_on、instance_on、panoptic_on;export.task 与 inference.mode 可选 semantic、instance、panoptic。
使用方式:每个动作都必须构造数据源路径并写入 spec_overrides,例如 dataset.train.images、dataset.train.annotations、dataset.label_map、dataset.train.panoptic 及 val/test 对应字段。训练前需设置 train.pretrained_backbone 和/或 train.pretrained_model。AutoML 在模型层启用,训练请求默认经 tao-skill-bank:tao-run-automl 路由;用户说“关掉 AutoML”“plain training”等可作本次运行 automl_policy: off 覆盖。TensorRT 相关动作需先读 references/tao-deploy-oneformer.md。
适用场景:需要统一处理全景、实例、语义分割任务,或在 TAO 流程中进行训练、评估、推理、导出、量化与 TensorRT 部署的场景。
限制:至少需 2 张 GPU,推荐 4 张,每卡 24GB 以上显存(推荐 A100),batch_size 默认 1,显存占用高;仅支持 DDP,不支持 fsdp,sync_batchnorm 始终开启;单 GPU 训练 50 个 epoch 较慢。若 schemas/train.schema.json 或 spec_template_train.yaml 缺失,则 AutoML 虽启用但不可运行。多节点需 WORLD_SIZE、NODE_RANK、MASTER_ADDR、MASTER_PORT、NUM_GPU_PER_NODE 等环境变量。