用途:在归档视频上运行 VSS 融合搜索(自然语言检索视频片段),并为搜索摄取视频文件或 RTSP 流,以及删除已摄取的搜索源;不用于即席视觉问答。
主要能力:基于 Cosmos Embed1 向量嵌入做自然语言检索;支持的查询包括按对象、动作、时间上下文、属性等,例如“find all instances of forklifts”。检索由 VSS agent 编排,可能产生三种行为:仅属性(Attribute-only,仅外观属性无动作)、仅嵌入(Embed-only,无可提取属性)、融合(Fusion,动作加属性,先嵌入检索再属性重排)。结果按相关性返回带时间戳的视频片段与播放链接,默认启用 VLM critic 验证以剔除误报。
使用方式:需已部署 VSS search profile 且从 $HOST_IP 可达(用 vss-deploy-profile 的 -p search 部署),依赖 vss-manage-video-io-storage 技能管理视频源,调用方需具备 curl、jq、Docker 与 NGC 凭据。请求前先探测 http://${HOST_IP}:8000/docs 与 http://${HOST_IP}:9200/。摄取文件走三步流程:POST /api/v1/videos 获取分块上传 URL,按 nvstreamer 协议分块上传,再 POST /api/v1/videos/${SENSOR}/complete 触发 RTVI-CV 与 RTVI-embed,待 chunks_processed > 0 后可搜索。RTSP 流用 POST /api/v1/rtsp-streams/add 添加,返回 {status, message, error}。删除用 DELETE /api/v1/videos/<video_id> 或 /api/v1/rtsp-streams/delete/<name>。搜索默认用 REST:POST http://${HOST_IP}:8000/generate,如 {"input_message": "find all instances of forklifts"};需 search_source_type 等结构化选项时改用 messages 请求体。也可经 Agent UI(http://${HOST_IP}:3000/)输入自然语言查询。
适用场景:归档视频归档检索、按人/车/叉车等对象或动作、时间段查询、门禁与区域事件检索等。
限制:必须部署匹配的 VSS profile 且可达;NGC 模型与 NIM 可能受速率限制、GPU 显存与许可约束;并发、显存与存储受主机硬件和 profile 的 compose 文件限制;需显式提供 $HOST_IP,不可猜测默认 localhost;源须经 agent 后端摄取(裸 VIOS PUT 不生成嵌入且不可搜索);RTSP 添加为 fire-and-verify,需轮询确认可搜索;Alpha 功能不推荐生产使用。故障排查:连接被拒需检查微服务并重新部署;NGC 401/403 需重新 docker login nvcr.io;容器 OOM 需换小变体或释放 GPU。