用途
该技能用于设计端到端的计算机视觉流水线，覆盖对象检测、实例/语义分割以及生产部署。它面向从数据准备到训练配置生成、模型优化与推理部署的完整流程，并提供架构选型与生产指标预算方面的指导。
主要能力
- 检测流水线设计：需求分析、架构选择（YOLO/RT-DETR/Faster R-CNN/DINO）、数据集准备、训练配置与指标评估。
- 模型优化与部署：基线基准测试、ONNX 导出、INT8/FP16 量化，并按目标平台转换为 TensorRT/OpenVINO/CoreML/TFLite。
- 数据集工程：审计、清洗、格式转换（COCO/YOLO/VOC/CVAT/LabelMe）、增强配置，以及分层 train/val/test 划分。
- 架构指导：检测与分割架构的权衡，以及 CNN 与 Vision Transformer 的选择。
- 生产目标：面向实时、高精度和边缘部署的 FPS、mAP、P99 延迟、内存与模型大小预算。
使用方式
在生成训练配置或流水线之前，需要先确认以下输入；如果未知或含糊，应先询问而不要假设：
- 任务：检测 / 实例或语义分割 / 分类（决定架构与 --task）
- 数据集：位置与格式（COCO / YOLO / VOC），用于分析或转换（作为 dataset_pipeline_builder.py 的输入）
- 部署目标：GPU / 边缘 / 移动端（影响架构选择与 inference_optimizer --target）
停止规则：只询问对输出影响最大的 2-3 个问题。如果用户表示“先起草”，则继续并在此工件顶部列出假设。
工具与命令：
- vision_model_trainer.py：为 YOLO / Detectron2 / MMDetection 生成训练配置
python scripts/vision_model_trainer.py data/coco/ --task detection --arch yolov8m -o configs/train.yaml - inference_optimizer.py：分析、基准测试并推荐模型优化
python scripts/inference_optimizer.py model.pt --analyze --benchmark --recommend --target edge - dataset_pipeline_builder.py：分析/转换/划分/增强/校验 CV 数据集（子命令）
python scripts/dataset_pipeline_builder.py analyze --input data/coco/
参考文档（按任务加载，保持主文件精简、按需拉取细节）：
- references/detection-workflows.md：快速开始命令与三个端到端工作流（检测流水线、模型优化/部署、数据集准备）以及架构选择指南。执行流水线时阅读。
- references/commands-targets-and-troubleshooting.md：框架命令目录（YOLO/Detectron2/MMDetection/优化）、性能目标、反模式、故障排查表与成功标准。运行训练或部署时阅读。
- references/tool-reference.md：三个脚本的完整参数、示例与输出格式参考。编写脚本时阅读。
- references/computer_vision_architectures.md：CNN 骨干（ResNet、EfficientNet、ConvNeXt）、ViT 变体（ViT、DeiT、Swin）、检测头，以及 FPN/BiFPN/PANet 颈部。选择或调优架构时阅读。
- references/object_detection_optimization.md：NMS 变体、anchor 优化、损失设计（focal、GIoU/CIoU/DIoU）、训练策略与检测增强。提升检测精度时阅读。
- references/production_vision_systems.md：ONNX/TensorRT 导出、批量推理、边缘部署（Jetson、Intel NCS）、Triton 服务与视频流水线。生产部署时阅读。
适用场景
- 从零构建对象检测或分割系统。
- 优化并部署已训练模型到 GPU、边缘或移动端。
- 准备、转换或审计计算机视觉数据集。
- 在速度/精度/部署之间权衡选择架构。
限制
该技能不覆盖：
- 生成式视觉任务（图像生成、风格迁移、超分辨率）——见专门的生成式 AI 技能。
- 3D 重建、SLAM，或超出基础深度估计的点云处理。
- 医学影像监管合规（DICOM、FDA 510(k)）——见 ra-qm-team/ 合规技能。
- 实时视频流基础设施（RTSP、WebRTC、GStreamer 流水线设计）——见 senior-devops 基础设施相关技能。
集成点
- senior-ml-engineer：模型服务与 MLOps 流水线搭建；训练模型产物（.pt、.onnx）进入 model_deployment_pipeline.py 进行容器化服务与监控。
- senior-data-engineer：数据集 ETL 与存储流水线；原始图像数据经 pipeline_orchestrator.py 摄入；清洗后的数据集进入 dataset_pipeline_builder.py 进行 CV 格式化。
- senior-data-scientist：实验设计与统计分析；experiment_designer.py 的实验参数指导超参数搜索；模型指标回传用于显著性检验。
- senior-devops：CI/CD 与 GPU 基础设施供给；优化后的模型产物通过 CI/CD 流水线部署；GPU 节点扩缩容通过基础设施即代码管理。
- senior-prompt-engineer：多模态 RAG 与视觉-语言集成；视觉模型嵌入与检测结果进入 rag_system_builder.py 用于多模态检索流水线。
- senior-cloud-architect：云 GPU 资源规划与成本优化；inference_optimizer.py 的基准测试结果用于指导实例类型选择与自动扩缩容策略。