SuperAPI AI 工具集

computer-vision-guide

通用与其它

查看项目

更新于 10-16 06:44

技能介绍

用途:该技能用于开展计算机视觉研究,围绕模型架构选型、数据集准备、训练流程、评估指标与常见实验协议提供指引,覆盖图像分类、目标检测、语义分割、实例分割与图像生成任务。

主要能力:

  1. 任务分类:明确各任务的输入、输出与常用模型,如分类用 ResNet、EfficientNet、ViT、ConvNeXt;检测用 YOLO(v5-v9)、Faster R-CNN、DETR、RT-DETR;语义分割用 U-Net、DeepLab、SegFormer、Mask2Former;实例分割用 Mask R-CNN、Mask2Former、SAM;图像生成用 Stable Diffusion、DALL-E、Imagen。
  2. 架构演进:梳理 CNN(LeNet→AlexNet→VGG→ResNet→EfficientNet→ConvNeXt)与视觉 Transformer(ViT→DeiT→Swin→BEiT→DINOv2)路线,并说明 Transformer 在大规模下可与 CNN 竞争、混合架构常见。
  3. 数据集准备:提供按类别目录组织图片并划分 train/val/test 的函数,默认比例 0.7/0.15/0.15,固定随机种子;数据增强用 torchvision 的 RandomResizedCrop、RandomHorizontalFlip、ColorJitter、RandomRotation、ToTensor、Normalize。
  4. 训练流程:以迁移学习为例,用 torchvision 加载 ResNet50 或 ViT-B/16 的 ImageNet 预训练权重并替换分类头。
  5. 评估指标:分类用 Top-1/Top-5 准确率、精确率、召回率、F1、混淆矩阵;检测用 mAP、mAP@0.5、mAP@0.5:0.95 与各类 AP;分割用 mIoU、像素准确率、Dice 系数。
  6. 可复现性:论文需报告架构与参数量、预训练权重、优化器与学习率计划、批大小与轮数、增强参数、硬件与训练时间、评估指标与测试集版本、代码链接、随机种子,并建议报告 3 个以上种子的均值。
  7. 伦理:收集或使用图像数据集时需考虑同意、地理与人口代表性、偏差放大及双重用途风险,记录数据集构成与局限,遵循 Datasheets for Datasets,并对生成模型设置有害内容防护。

使用方式:以技能形式提供方法学指引与 Python 代码片段,在开展视觉研究时按上述任务、流程与评估规范执行。

适用场景:图像分类、检测、分割或生成方向的实验设计、数据处理、模型训练与结果评估。

限制:资料未提供具体安装命令、依赖版本、运行环境要求、收费方式或平台支持信息,暂未提供;代码示例需结合实际环境调整。