SuperAPI AI 工具集

rtvi-vlm-customize-model

部署与运维

查看项目

更新于 10-16 07:24

技能介绍

用途:当需要把 VSS Alerts Blueprint 指向不同的 VLM 端点,或以 OpenAI 兼容端点、容器内 vLLM 两种方式独立运行 rtvi-vlm 时使用。需注意 rtvi-vlm、vlm-as-verifier、vss-agent 是三个各自发起 VLM 调用的独立消费方,只改 RTVI_VLM_* 不会自动重定向另外两个。CV 检测器替换应改用 rtvi-cv-customize-model。

主要能力:RTVI-VLM 支持两种部署方式,由 VLM_MODEL_TO_USE(独立)或 RTVI_VLM_MODEL_TO_USE(Blueprint)选择。openai-compat 方式由容器通过 HTTP 调用外部推理服务,适用于本地或远程 NIM、外部 vLLM、OpenAI;vllm-compatible 方式由容器内置 vLLM 下载并服务模型。模型架构必须被所选镜像内置的 vLLM 版本支持,否则改用外部容器方式。

使用方式:Blueprint 侧需在 ${VSS_PROFILE_DIR}/.env 添加 RTVI_VLM_PORT 并更新两处硬编码 8018 行,再重跑 dev-profile.sh;编辑 .env 而非 generated.env。Method A 需设置 RTVI_VLM_MODEL_TO_USE=openai-compat、RTVI_VLM_ENDPOINT、VLM_NAME、OPENAI_API_KEY 与 RTVI_VLM_API_KEY。Method B 设置 RTVI_VLM_MODEL_TO_USE=vllm-compatible 与 RTVI_VLM_MODEL_PATH,支持 ngc:、git: 和本地路径前缀。vlm-as-verifier 配置位于 ${VSS_PROFILE_DIR}/vlm-as-verifier/configs/config.yml,vss-agent 通过 VLM_MODEL_TYPE 选择配置块。

验证与限制:修改后需 --force-recreate 相关服务并检查日志。v3.2.1 中 Warmup 日志在两条路径都会输出,不能作为成功依据,需确认无下载或预热错误、就绪端点可用,并完成一次真实推理。凭据不得写入聊天或日志,应使用静默输入并 chmod 600。alert-bridge 与 vss-agent 为闭源,镜像标签见参考文档。本技能仅为文档,不含 VSS 源码。