SuperAPI AI 工具集

rtvi-vlm-customize-model

部署与运维

查看项目

更新于 10-16 07:24

技能介绍

用途:本技能用于把 VSS Alerts Blueprint 指向不同的 VLM 端点,或让 rtvi-vlm 以独立方式运行(OpenAI 兼容端点或容器内 vLLM),并纠正“改一处 VLM 配置即可同时更新三个服务”的误解。CV 检测器替换应改用 rtvi-cv-customize-model。

主要能力:说明 rtvi-vlm、vlm-as-verifier、vss-agent 是三个各自发起 VLM 调用的独立消费方,配置位置分别为 RTVI_VLM_* 环境变量、${VSS_PROFILE_DIR}/vlm-as-verifier/configs/config.yml 以及 vss-agent 的 VLM_MODEL_TYPE / VLM_NAME / VLM_BASE_URL。两种部署方式由 VLM_MODEL_TO_USE(独立)或 RTVI_VLM_MODEL_TO_USE(Blueprint)选择:openai-compat 由容器通过 HTTP 调用外部推理服务;vllm-compatible 由容器内置 vLLM 下载并服务模型。

使用方式:Blueprint 侧需在 .env 中补充 RTVI_VLM_PORT 并更新两处硬编码 8018,再重跑 dev-profile.sh;修改后需 force-recreate 相关服务并检查日志。独立运行使用 services/rtvi/rt-vlm/docker/compose.yaml,需设置 BACKEND_PORT。验证时要求无下载或预热错误、就绪端点通过,并至少完成一次真实推理。

限制:模型架构必须被所选 RTVI 镜像内置的 vLLM 版本支持,否则改用外部容器。v3.2.1 中 Warmup 日志不能作为成功依据。凭据不得写入聊天或日志,应使用静默输入并 chmod 600。alert-bridge 与 vss-agent 为闭源。本技能仅为文档,不附带 VSS 源码。