用途：vLLM-Ascend 是 vLLM 的插件，使大语言模型推理能运行在华为昇腾 AI 处理器上。适合在昇腾 NPU 上做离线批量推理、部署 OpenAI 兼容 API 服务、使用量化模型推理，以及多卡/多节点的分布式推理。
主要能力：提供昇腾优化的算子、量化支持（如 W8A8、W4A8，配合 msModelSlim 量化的模型）和分布式推理能力，包括张量并行与流水线并行，并支持多节点部署。
使用方式：离线推理时需在导入 vLLM 前设置 VLLM_WORKER_MULTIPROC_METHOD=spawn，再用 LLM 与 SamplingParams 加载模型并生成；本地多进程部署可用 ASCEND_RT_VISIBLE_DEVICES 指定设备。API 服务可用命令 vllm serve 或 python -m vllm.entrypoints.openai.api_server 启动，通过 /v1/completions 与 /v1/chat/completions 调用。安装可拉取镜像 ascendai/vllm-ascend:latest 或执行 pip install vllm-ascend，也可从源码 pip install -e .。安装前提为 CANN 8.0.RC1 或更高、Python 3.9 或更高、与 CANN 版本兼容的 PyTorch Ascend。
适用场景：单卡或多卡昇腾环境下的大模型推理服务、离线批量生成、量化模型部署和大模型分布式推理。
限制：文档仅覆盖上述能力与用法，具体性能、价格和硬件兼容范围暂未提供；遇到显存不足可减少 max-model-len、降低 gpu-memory-utilization 或 max-num-seqs，慢速推理可尝试 dtype bfloat16、调整 block-size 或开启 prefix caching。