SuperAPI AI 工具集

rag-blueprint

部署与运维

查看项目

更新于 10-16 04:34

技能介绍

用途:面向 NVIDIA RAG Blueprint 仓库的运维操作,包括部署、配置、排障、关闭以及功能开关管理,支持 Docker、Helm 与库模式。

主要能力:按用户意图路由到对应手册——部署/安装读 references/deploy.md;配置读 references/configure 下对应文件(如 VLM、Guardrails、Agentic RAG、检索、模型与基础设施、推理与生成、可观测性、多模态查询、MCP、评估、迁移等);排障读 references/troubleshoot.md;关闭读 references/shutdown.md。可自动检测 GPU、显存、驱动、Docker、CUDA、磁盘、系统、端口、现有服务、NGC 密钥与仓库状态。

使用方式:先判断意图,读取对应手册再改动;以仓库文档和部署配置为准,修改后需验证受影响的服务或工作流。部署需仓库检出、Docker/Compose 或 Kubernetes/Helm,库模式需 Python 3.11+,自托管 NIM 需 NVIDIA GPU 工具。配置前需有运行中的部署,先检测平台与配置位置(自托管 Docker 用 deploy/compose/.env,NVIDIA 托管用 deploy/compose/nvdev.env,K8s 用 values.yaml,库模式用 notebooks/config.yaml),并核对线上服务当前状态。Docker 改动后重启对应 compose 文件(如 rag-server 用 docker-compose-rag-server.yaml、NIM 用 nims.yaml),Helm 用 helm upgrade,库模式改配置后重启进程,并用健康检查或 kubectl rollout status 验证。

适用场景:RAG Blueprint 的日常运维与功能调整,如启停 VLM、修改模型、切换向量库、排查不健康状态。

限制:仅适用于该 RAG Blueprint 仓库;在线改动需要运行中的 Docker、Helm 或库目标;NGC_API_KEY 等密钥需由用户环境提供。硬件方面:B200 不支持 VLM、Guardrails 与 Nemotron Parse,可能需多 GPU LLM;RTX PRO 6000 不支持 Nemotron Parse,Helm 下不支持音频。其余具体 GPU 要求见仓库 docs/support-matrix.md 与 docs/service-port-gpu-reference.md。