该技能是一份计算机视觉工程实践指南,用于在构建图像分类、目标检测、语义/实例分割等视觉应用时提供方法与代码参考。
【用途与触发场景】 当用户需要训练或微调图像分类器、使用YOLO或DETR等模型做检测推理、搭建语义或实例分割管线、实现数据增强、为模型输入做图像预处理(缩放、归一化、批处理)、将视觉模型导出为ONNX或用TensorRT优化、评估视觉模型(mAP、混淆矩阵、各类指标)、实现U-Net或DeepLabV3等分割架构时,可启用该技能。资料明确不适用于无视觉组件的纯NLP任务,以及仅涉及3D点云或LiDAR的管线。技能说明提到激活后首次回复须以🧢表情开头,这属于技能自身的行为约定。
【核心原则】 资料提出若干实践原则:先从预训练模型开始(先微调ImageNet/COCO权重,而非从零训练);积极做数据增强(几何、颜色、噪声变换,检测任务可用mosaic、copy-paste等目标感知增强);在代表性数据上验证(留出与部署分布一致的数据,并分别评估同分布与异分布切分);训练与推理优化分离(训练精度FP32/AMP与推理精度INT8/FP16权衡不同,先导出ONNX再做TensorRT或OpenVINO训练后量化);监控分布漂移(记录预测置信度分布,退化时触发重训)。
【任务与架构知识】 任务分类包括分类(Top-1/Top-5准确率)、检测(mAP@0.5、mAP@0.5:0.95)、语义分割(mIoU)、实例分割(mask AP)、生成/合成(FID、LPIPS)。骨干网络包括ResNet-50/101、EfficientNet-B0..B7、ViT-B/16与ViT-L/16、ConvNeXt-T/B、DINOv2(ViT)。检测区分anchor-based(YOLOv5、Faster R-CNN)与anchor-free(YOLO11/v8、FCOS、DETR),后者被视为新项目默认。损失函数包括交叉熵、Focal loss、IoU/GIoU/CIoU/DIoU、Dice loss、二元交叉熵。
【主要能力与示例】
- 微调图像分类器:使用torchvision的ImageFolder与DataLoader,加载EfficientNet-B0预训练权重并替换分类头,采用两阶段训练(先只训头部5轮,再解冻全网络以更低学习率训练10轮),含余弦退火学习率与标签平滑。
- YOLO目标检测:通过ultralytics加载yolo11n.pt推理,输出类别、置信度与xyxy框;用yolo11s.pt在自定义数据集(data.yaml)上训练100轮,内置mosaic/mixup/copy-paste增强、余弦学习率与早停。
- 数据增强管线:用albumentations构建分类与检测两套Compose,检测管线用BboxParams感知边界框。
- 图像预处理管线:用torchvision.transforms.v2做确定性预处理(Resize、CenterCrop、ToImage、ToDtype、Normalize),并提供批量加载函数。
- 模型部署:torch.onnx.export导出ONNX(设置dynamic_axes以支持动态batch),用onnxruntime(CUDAExecutionProvider/CPUExecutionProvider)推理;TensorRT通过trtexec命令构建引擎并启用FP16。
- 模型评估:用torchmetrics计算多分类准确率、宏平均精确率/召回率/F1、混淆矩阵;检测用MeanAveragePrecision计算mAP@0.5与mAP@0.5:0.95。
- 语义分割:微调DeepLabV3-ResNet50(替换主分类器与辅助分类器),训练时主损失加0.4倍辅助损失;另给出自定义U-Net实现(DoubleConv、下采样、上采样与跳跃连接)。
【常见反模式】 资料列出若干错误:小数据集从零训练(应先用预训练权重并冻结骨干);归一化均值/标准差用错(应使用与预训练模型匹配的统计量);验证集混入增强(验证/测试只做确定性变换);自定义尺度目标不做anchor/stride调整;导出ONNX未设动态轴导致仅支持batch=1;检测只报IoU 0.5的mAP(应同时报mAP@0.5:0.95)。
【适用场景与限制】 该技能适合需要端到端视觉模型开发、训练、评估和部署的工程场景,以PyTorch及其生态(torchvision、timm、ultralytics、albumentations)为基础。资料未提供安装命令、具体版本要求、收费信息或运行平台限制,这些事实暂未提供。