SuperAPI AI 工具集

external-gitcode-ascend-vllm-ascend-deploy

智能体与模型

查看项目

更新于 10-15 17:19

技能介绍

用途:在昇腾 NPU 平台上部署 vLLM 大模型推理服务,触发词为「部署 模型名」「NPU 部署模型」「vllm serve」。

主要流程:SSH 检查 → 解析模型 → NPU 检查 → 配置发现 → 用户确认 → 执行部署 → 监控启动 → 验证服务。

关键步骤:SSH 远程部署用 ssh -o BatchMode=yes <server> "echo ok" 检查;NPU 检查用 npu-smi info 和 npu-smi info -t pid。配置发现必须执行,按优先级查 GitCode 教程、官方 vllm-ascend 文档、Modelers 在线库,提取镜像、TP 推荐值和启动参数;网络受限时用独立浏览器工具访问,不得猜测。NPU 架构按 8×910B3=A2、16×910B3=A3 判断,镜像后缀需匹配 -a2/-a3。用户确认是阻断点,须展示官方推荐配置与现有资源供选择。

部署命令:docker load -i <IMAGE_TAR_PATH> 加载镜像;bash scripts/create_container.sh --mode local --image <IMAGE> --model-path <MODEL_PATH> --container-name <CONTAINER_NAME> 创建容器,远程加 --mode remote --server <IP> --user <SSH_USER>。启动优先用 vllm serve <MODEL_PATH> --tensor-parallel-size <TP>,CLI 失败时改用 python -m vllm.entrypoints.openai.api_server --model <MODEL_PATH>。启动后创建 cron job 每分钟检查日志与 /health,经 sessions_send 通知用户;验证用 curl http://<SERVER_IP>:<PORT>/health 与 /v1/models。

脚本:create_container.sh、start_service.sh、monitor.sh、api_test.py。已知排错点包括 vllm.benchmarks.latency 模块缺失、容器创建失败、HCCL 环境变量和 OOM。具体镜像版本、端口、模型支持范围及额外限制资料未完整提供。