SuperAPI AI 工具集

deepstream-sop

编程与开发

查看项目

更新于 10-16 02:34

技能介绍

用途:指导 AI 编码助手构建、扩展和调试 NVIDIA DeepStream SOP(标准操作流程)推理微服务,即面向工业视频流的 GPU 加速时序动作检测与基于 VLM 的 SOP 合规监控流水线。参考仓库为 https://github.com/NVIDIA/sop-monitoring-blueprints/tree/main/microservices/sop-inference-bp,本地参考代码位于 sop-inference-bp/ 目录。

主要能力:两阶段推理均可换模型。第 1 阶段(CV)用通用事件边界检测(GEBD)做逐帧边界打分与分块,默认 DDM(MCG-NJU/DDM),经 Triton Python 后端,通过 triton_model_repo/<model>/ 与 DDM_MODEL_PATH 替换;第 3 阶段(VLM)做每块动作分类,经 vLLM,默认 Cosmos Reason 1 7B(也支持 Reason 2),通过 VLLM_MODEL_PATH 设置其他 HF ID 或本地路径。分块可选:默认 ddm-net 使用 GEBD;uniform 生成固定长度块并绕过第 1 阶段。DDM 时间窗由 FRAMES_PER_SIDE / SEQUENCE_BATCH 配置,可选 TensorRT 优化。服务在 Docker 容器 nvds-action-sop 中运行,另有 Kafka 容器。

使用方式:FastAPI 服务端口 8300,/v1/chat/completions 走 SOPProcessManager;输出支持 SSE 流式、非流式、Prometheus 指标 /v1/metrics,并写入 Kafka。四阶段 SOPVideoProcessor 流水线:DeepStream 管线、Clip 后处理分块、VLM 推理、SOP Checker 序列校验。技能按 §1–§18 分节文件组织,按需加载;端到端评估先读 §12,再按需读构建/测试/curl/延迟/摄像头/Kafka 等节。文档还列出关键文件映射、Critical Rules(如 SOPProcessManager 在 main() 中于 uvicorn.run() 前初始化、live 输入必须 stream: true、VLM 预热需 3 帧、线程池大小、Kafka 使用 create_producer、chunk schema 字段名等),以及 §18 RTSP 输出为可选、仅在用户明确请求时生成。

适用场景与限制:工业视频流 SOP 合规监控的构建、部署、调试、评估与延迟测量(文件输入 TTFC/C2C、摄像头 chunk_e2e)。资料未提供具体收费、价格或性能基准;未确认的功能不应假定。摄像头仿真需 PYLON_CAMEMU=1;Docker 部署需显式列出运行时环境变量。具体实现与必守规则以对应 skill_NN_*.md 为准。