SuperAPI AI 工具集

rtvi-cv-customize-model

通用与其它

查看项目

更新于 10-16 02:34

技能介绍

用途:本技能用于在 VSS Alerts Blueprint 的验证(2d_cv)模式中更换 RT-CV 感知容器(vss-rt-cv)的主 GIE 检测模型,默认模型为 GDINO 或 RTDETR,可替换为任意 ONNX 格式检测器,文中以 YOLOv11 COCO 80 为例。不适用于 2d_vlm 实时告警模式,也不用于搭建全新的独立 RTVI CV 微服务。

主要能力:覆盖 ONNX 模型在宿主机上的暂存、模型输出张量的检查(输出名、形状、布局、是否含 NMS、坐标语义)、自定义 bbox 解析器(.so)的编写与构建、nvinfer 子配置文件(如 yolov11.txt)的修改、首次启动时的 TensorRT 引擎构建与缓存、compose 挂载与 .env 变量设置,以及部署与排查解析器加载失败(如 dlsym failed)等问题。

使用方式概要:路径 deploy/docker/ 等均相对 VSS Blueprint 仓库,需使用 v3.2.1 或兼容版本并在仓库根目录执行命令。将 ONNX 放到 ${VSS_DATA_DIR}/models/yolo/,在 ${VSS_PROFILE_DIR} 下编辑解析器、nvinfer 配置、ds-start.sh 与 compose.yml,设置 MODEL_NAME_2D、NUM_SENSORS、FORCE_REBUILD 等变量,然后用 dev-profile.sh up 部署,并 docker compose up -d --build --force-recreate perception-alerts 重建感知服务。构建命令示例:/usr/src/tensorrt/bin/trtexec --onnx=${YOLO_ONNX} --minShapes=images:1x3x640x640 --optShapes=images:${NUM_SENSORS}x3x640x640 --maxShapes=images:${NUM_SENSORS}x3x640x640 --fp16 --saveEngine=${YOLO_ENGINE_TMP}。

适用场景:需要在验证模式替换检测器、调试 ONNX 暂存路径或绑定挂载问题、修复自定义 bbox 解析器符号加载失败;实例分割或检测加掩码模型需先完成 references/segmentation-model-contract.md。

限制:本技能仅为文档,不随附 VSS 部署源码;TensorRT 引擎与 GPU 架构相关,需在目标 GPU 上构建,Blackwell 硬件上构建约需 15–30 秒;切勿直接把缺失的 ONNX 文件路径挂载到 compose,应保留父目录挂载;ds-start.sh 的 profile 副本若未在 compose 中覆盖则不会执行;generated.env 在重启时优先于 .env,单次强制重建需在命令行传入 FORCE_REBUILD=true。切换其他模型时需替换导出方式、张量名、infer-dims、cluster-mode 与 trtexec 输入张量名,并新增独立分支而非修改 YOLO 分支。未提供的细节暂未说明。