用途:对单个已录制视频片段生成一段精炼的叙述性摘要;当 LVS 微服务可达时,还会给出带时间戳的事件。不适用于实时 RTSP 字幕(用 vss-deploy-dense-captioning)、报告生成(用 vss-generate-video-report Mode B)、档案语义搜索(用 vss-search-archive)。
主要能力与路由:依据 LVS 服务可用性路由,而非视频时长。先探测 LVS 的 /v1/ready:HTTP 200 走 LVS 微服务(含 HITL),POST ${LVS_BACKEND_URL}/v1/summarize;其他状态走 VLM 回退,POST ${VLM_BASE_URL}/v1/chat/completions,并在摘要上方加回退说明。
前置条件:$HOST_IP 上运行 VSS lvs 配置(端口 38111),或可用的 VLM/RT-VLM 端点;agent 主机能访问两个端点;VIOS 的片段 URL 可被所选后端抓取;主机有 jq 和 curl。
使用方式:先用 vss-manage-video-io-storage 获取片段 URL,收集 streamId、时间线 {startTime,endTime}(ISO 8601 UTC)和容器为 mp4 的临时 MP4 clip URL(.videoUrl)。探测可用性示例:VLM="${VLM_BASE_URL:-${RTVI_VLM_BASE_URL:-http://${HOST_IP:-localhost}:8018}}";vlm_code=$(curl -s -o /dev/null -w '%{http_code}' --connect-timeout 3 --max-time 10 "$VLM/v1/models");VIDEO_SUMMARIZATION_URL=${LVS_BACKEND_URL:-http://${HOST_IP:-localhost}:38111};对 /v1/ready 的 503 每 3 秒重试,最多约 30 秒。判定只看 HTTP 状态码,body 可能为空,勿检查 body。LVS 路径必须先用 HITL 收集 scenario 与 events;自主模式在调用方明确绕过且原查询要默认值时,才可使用 scenario="activity monitoring"、events=["notable activity"]。优先 POST /v1/summarize(3.2 GA),/summarize 为兼容别名。VLM 回退不运行 HITL,使用固定默认提示。模型名读 ${VLM_NAME}(默认 nim_nvidia_cosmos-reason2-8b_hf-1208),须与端点 /v1/models 公布的 id 一致。
输出呈现:以“Summary of <video_name> (<duration>)”开头,时长小于 60 秒写 Ns,否则 Mm Ss。LVS 输出原样渲染 video_summary 和每条 events(start_time、end_time、type、完整描述);VLM 输出原样渲染 choices[0].message.content,若有 <think> 块则丢弃。回退警告置于摘要上方。一次请求只调用一个后端,不并行对冲、不重复标题。
限制:VLM 回退使用单一固定提示,无法针对场景/事件,质量低于 LVS;远程 VLM 端点通常无法访问 localhost/私有片段 URL;每次请求仅一个后端调用,无并行或多个摘要。LVS 返回 503 通常表示预热中;video_summary 与 events 均为空可能表示片段不含所请求事件,应放宽 scenario/events 重跑。收费、价格等未提供。