SuperAPI AI 工具集

deepstream-eval-and-finetune

部署与运维

查看项目

更新于 10-16 02:33

技能介绍

用途:在 NVIDIA DeepStream 中部署目标检测器,测量部署后的 mAP、FPS 与延迟,进行微调后重新部署,并生成前后对比报告。流程不给出是否上线的结论,只报告实测结果。

主要能力:编排 deepstream-import-vision-model 完成部署,调用 TAO Skill Bank 的 tao-launch-workflow(目标 tao-finetune-huggingface-model)做单次微调,HF AutoML 使用本技能的 NGC 运行环境。固定流程为:预检并确认 TAO Skill Bank;用 TensorRT FP16 部署原模型;在 DeepStream 中评估原模型并保留基线 mAP、逐类结果、eval/engine_metrics.json 与 eval/perf.json;在 TAO NGC PyTorch 容器中微调;在相同规范图像与画布上部署并评估微调模型;生成性能、叠加图与前后对比 PDF。

使用方式:需 Linux,或 Windows 加 Docker Desktop、WSL2 与 NVIDIA GPU;macOS 不支持 GPU 计算。Docker 阶段使用 nvcr.io/nvidia/deepstream:9.1-triton-multiarch,参数 --gpus all 与 --shm-size=16g。需从 https://github.com/NVIDIA-TAO/tao-skill-bank 安装 tao-skill-bank 插件,用 scripts/check_tao_skills.sh 确认,仅在报告 INSTALL-NEEDED 时安装并新开会话。部署前 scripts/preflight.sh 必须返回 PASS。可选输入默认 split=validation、n_eval=200、canvas=[640,640]、precision=fp16。UI 默认端口 8078、仅绑定 127.0.0.1,启动命令为 PORT=<port> bash <skill-root>/app/launch.sh。

适用场景:PCB Defects、Aerial Sheep 等已验证演示,或自定义模型与数据集的目标检测评估与微调。

限制:仅支持目标检测,拒绝分类、NLP 等任务;每个计算阶段都需要 NVIDIA GPU;UI 网络暴露无认证;UI 产生的检查点需经 NGC 流程复现后才可报告。其余细节暂未提供。