SuperAPI AI 工具集

tao-train-mask-auto-encoder

智能体与模型

查看项目

更新于 10-16 04:34

技能介绍

用途:基于 TAO 的掩码自编码器(MAE)技能,对图像做自监督预训练和微调,通过随机遮盖图像块并重建来学习视觉表征。

主要能力:train.stage 支持 pretrain(掩码学表征)与 finetune(加分类头);model.arch 默认 convnextv2_base,可选 ConvNeXt、Hiera、ViT 等;model.mask_ratio 通常为 0.75;model.num_classes 仅微调阶段相关,默认 1000;model.norm_pix_loss 控制重建损失是否归一化像素;train.optim.lr 默认 2e-4。数据集类型 image_classification,格式 ssl,监控指标 train_loss。

使用方式:各动作必须显式覆盖数据源,如 train 设置 dataset.train_data_sources 与 dataset.val_data_sources,evaluate 设置 dataset.val_data_sources,inference 设置 dataset.test_data_sources;微调时用 train.pretrained_model_path 指向预训练权重。多 GPU 由 Lightning 管理,train.num_gpus 默认 1、train.distributed_strategy 支持 ddp/fsdp。训练阶段默认走 tao-skill-bank:tao-run-automl,除非用户要求关闭 AutoML;若缺少打包的 train schema/template,则只能直接训练或报告 AutoML 不可运行。部署 TensorRT(gen_trt_engine)前需阅读 references/tao-deploy-mask-auto-encoder.md。

适用场景:图像自监督预训练、基于预训练权重的分类微调,以及评估、推理、ONNX 导出与 TensorRT 引擎生成。

限制:最低 2 GPU、推荐 8 GPU,单卡显存 24GB+(推荐 A100);预训练偏好大批量多卡。预训练不需要评估数据,微调可选验证集。注意 stage 与意图匹配、num_classes 与数据集类别数一致,否则会从头训练或报错。AutoML 是否可运行取决于 schema 与模板是否随技能打包,缺失时暂不可用;其余未在资料中说明的收费、价格等暂未提供。