用途:该技能用于在机器人感知场景中部署与优化深度学习模型,支持目标检测、实例分割与 3D 目标检测。适用场景为需要目标检测模型部署、实例分割、3D 检测或多目标跟踪的流程。
主要能力:配置 YOLO(v5、v8)实时检测;用 Detectron2 做实例分割;实现语义分割模型;为 Jetson 配置 TensorRT 优化;设置 ONNX Runtime 部署;实现 PointPillars、VoxelNet 等 3D 目标检测;配置基于深度的目标检测;使用 image_pipeline 搭建 ROS 视觉流水线;实现 SORT、DeepSORT、ByteTrack 目标跟踪;配置多相机检测融合。
涉及流程:object-detection-pipeline.js、synthetic-data-pipeline.js、nn-model-optimization.js、moveit-manipulation-planning.js。
依赖:YOLO(Ultralytics)、Detectron2、TensorRT、ONNX Runtime、vision_msgs。
输出产物:检测模型配置、TensorRT 优化模型、ROS 检测节点实现、跟踪流水线配置、多相机融合设置、推理优化脚本。
限制:资料未提供具体安装命令、代码示例、收费与价格信息,也未说明各模型精度、速度指标或硬件要求细节。