用途:在昇腾 NPU 平台上部署 vLLM 大模型推理服务,触发方式为用户提出“部署 模型名”“NPU 部署模型”或“vllm serve”。
主要能力:按固定工作流执行——SSH 检查、解析模型、NPU 检查、配置发现、用户确认、执行部署、监控启动、验证服务。支持本地与远程部署,远程需 --mode remote --server <IP> --user <SSH_USER>。
必要用法:先做 SSH 连接检查(ssh -o BatchMode=yes <server> "echo ok"),失败时询问密码或用 paramiko 配置免密;用 npu-smi info 与 npu-smi info -t pid 检查 NPU 状态与占用。配置发现必须执行,信息源优先级为 GitCode 教程、官方文档、Modelers 在线库,提取镜像、TP 推荐值、启动参数与环境变量;网络受限时用独立浏览器工具访问,不猜测参数。用户确认是阻断点,需展示官方推荐配置、NPU 架构判断(8×910B3 为 A2,16×910B3 为 A3)与现有资源后再部署。部署步骤包括 docker load -i <IMAGE_TAR_PATH>、bash scripts/create_container.sh --mode local --image <IMAGE> --model-path <MODEL_PATH> --container-name <CONTAINER_NAME>,启动优先用 vllm serve <MODEL_PATH> --tensor-parallel-size <TP>,CLI 失败时改用 python -m vllm.entrypoints.openai.api_server。后台启动后创建 cron job 每分钟检查,通过 sessions_send 通知用户,最后用 curl 访问 /health 与 /v1/models 验证。
适用场景:昇腾 NPU 上的 vLLM 推理服务部署与验证。
限制:配置必须从官方文档验证,禁止猜测;模糊授权不得当作明确提供;镜像需匹配 NPU 架构(A2 用 -a2 后缀,A3 用 -a3 后缀);cron 任务消息必须包含服务器、容器名、端口、日志路径等完整上下文。具体镜像、模型与参数以官方文档为准,资料未提供固定版本信息。