用途:为设计、实现和优化先进计算机视觉流水线提供专家指导,涵盖 YOLO26 实时目标检测、SAM 3 基础模型分割、视觉语言模型(VLM)视觉推理,以及空间感知、深度估计与三维重建。
适用场景:设计高性能实时检测系统;实现零样本或文本引导分割;构建空间感知、深度估计或三维重建系统;为边缘设备(ONNX、TensorRT、NPU)优化视觉模型;将经典几何(标定)与现代深度学习结合。
主要能力:
- YOLO26 统一实时检测:无 NMS 端到端推理,降低延迟与复杂度;面向低功耗硬件的边缘部署优化(去除 DFL、MuSGD 优化器);通过 ProgLoss 与 STAL 分配提升小目标识别精度。
- SAM 3 可提示分割:支持自然语言描述生成掩码(如“右侧的蓝色容器”);SAM 3D 为独立 Objects/Body 仓库与检查点,用于三维重建,并非 SAM 3 的自动分割能力;应使用其文档化任务接口与基准条件,勿将上游指标泛化为“2 倍精度”。
- 视觉语言模型:使用 Florence-2、PaliGemma 2 或 Qwen2-VL 进行语义场景理解与视觉问答,从视觉输入提取结构化数据。
- 几何与重建:Depth Anything V2 单目深度估计;棋盘格/Charuco 亚像素标定用于高精度立体/多相机系统;视觉 SLAM 实时定位与建图。
推荐模式:文本引导视觉流水线(SAM 3 文本转掩码隔离特定部件,YOLO26 快速候选 + SAM 3 精确掩码细化);部署优先设计(利用 YOLO26 简化的无 NMS ONNX/TensorRT 导出,MuSGD 需在真实数据集上对照固定基线评估,收敛提升为经验性而非保证);渐进式三维场景重建(单目深度存在尺度与域歧义,单应性仅建模平面几何,测量精度要求高时需标定并使用相机几何或多视图)。
应避免:手动 NMS 后处理;仅依赖点击式分割;使用过时的 DFL 导出流程。
注意事项:SAM 3 显存占用较高,可考虑量化/蒸馏版本;文本提示需具体(如“5mm 螺栓”);运动模糊可优化快门或利用时序跟踪一致性;硬件兼容性需验证具体导出器、算子、精度与设备运行时,简化架构不保证 NPU/TPU 支持。
限制:模型名称仅为待评估选项,非通用 SOTA 声明;需保留数据集划分、版本/检查点、预处理、延迟硬件/精度与实测指标。使用前须审查各模型/代码/数据许可,不得从公开仓库推断商业授权。本技能不捆绑或下载任何模型/检查点。图像/人物数据及安全关键或医疗用途需经批准的处理、同意与适当验证,模型输出不保证为真值。输出不能替代特定环境的验证、测试或专家评审。若缺少必要输入、权限、安全边界或成功标准,应停止并请求澄清。