用途:NVDINOv2 用于自监督视觉表示学习,无需标签,通过教师-学生自蒸馏训练视觉 Transformer,产出通用视觉特征,供下游任务使用。
主要能力与动作:涵盖 train、distill、inference、evaluate、export 与 deploy 流程。设置 train.pretrained_model_path 可指定预训练 ViT 权重。TensorRT 引擎生成(gen_trt_engine)需先阅读 references/tao-deploy-nvdinov2.md,部署模板位于本技能 references 目录,前缀为 spec_template_deploy_*.yaml。
训练配置:数据集类型为 image_classification,格式 ssl,监控指标 train_loss。各动作数据源路径为强制覆盖项:train 与 distill 使用 dataset.train_dataset.images_dir 指向 images_train.tar.gz,inference 使用 dataset.test_dataset.images_dir 指向 images_test.tar.gz。常用参数包括 model.backbone.teacher_type、student_type(默认 vit_l)、img_size(默认 518)、patch_size(默认 14)、dataset.batch_size(默认 4)、train.layerwise_decay、train.clip_grad_norm。
AutoML 与运行方式:模型层 AutoML 已启用,由 references/skill_info.yaml 的 automl_enabled 声明。处理训练请求前需读取该文件并解析 automl_policy;“关闭 AutoML”等表述视为本次运行 automl_policy: off,否则默认 auto。auto 且训练 schema 与模板齐备时,默认经由 tao-skill-bank:tao-run-automl 路由;仅在 off 或 schema/模板缺失时直接训练,缺失时需报告 AutoML 已启用但不可运行。非训练动作仍在本技能内执行。
多 GPU 与硬件:由 Lightning 管理,单进程启动并派生 worker,策略 auto,始终启用 sync_batchnorm。多节点环境变量由编排器设置。最低 4 张 GPU,推荐 8 张,每卡 40GB 以上(推荐 A100),ViT-Large 教师+学生显存占用高。
限制与常见错误:CUDA 显存不足时需降低 batch_size 或 img_size,或改用更小 ViT 变体;默认 10 个 epoch 仅用于快速测试,生产通常需 100 以上。评估为可选,SSL 训练不使用标签,评估取决于下游任务。父模型推断映射需通过 parent_job_id 传递上游作业 id,不应写回 config.json 或修改生成脚本。部分细节如具体收费、平台支持等暂未提供。