用途:在昇腾 NPU 服务器上部署 vLLM 推理服务,流程涵盖平台确认、环境检查、模型发现、参数配置、部署执行与验证。
主要能力:自动发现模型(在 /home/weights、/home/weight、/home/data*、/data* 等路径递归查找 config.json);通过 quant_model_description.json 自动判断量化模型,量化模型加 --quantization ascend,非量化模型不得添加该参数;支持图模式(--no-enforce-eager)与 Eager 模式(--enforce-eager)选择;支持容器部署与多卡张量并行;提供 NPU 占用检查、健康检查与推理测试。
使用方式:先确认本地或远程、裸机或容器;用 npu-smi info 检查 NPU,pip show vllm vllm-ascend 检查环境;按模型规模选择 TP(≤14B 用 1 卡,14B-70B 用 2-4 卡,>70B 用 4-8 卡);设置环境变量(如 ASCEND_RT_VISIBLE_DEVICES、TASK_QUEUE_ENABLE 等)后执行 vllm serve;容器内在后台运行可用 nohup vllm serve /model ... > /tmp/vllm.log 2>&1 &,宿主可用 docker exec -d;最后用 curl http://localhost:8000/health 与 /v1/chat/completions 验证。
限制:所选 NPU 卡被占用时需更换卡或确认后终止进程;出现 OOM 应降低 max-num-seqs 或 max-model-len;图捕获失败可回退 Eager 模式;端口冲突需改端口或终止进程;HCCL 超时需增大 HCCL_CONNECT_TIMEOUT。具体模型支持矩阵与更多参数以资料所列参考文件为准,未提供的收费与价格信息暂未提供。