用途：优化生产环境中的大语言模型推理，降低延迟、减少显存占用、提升吞吐，并支持边缘与移动端等资源受限场景。
主要能力：基于 vLLM 0.14.x（PyTorch 2.9.0、CUDA 12.9，建议 Python 3.12+），提供 PagedAttention、连续批处理、CUDA Graphs、张量并行、前缀缓存与 AttentionConfig API。量化支持 FP16、INT8、AWQ、GPTQ、FP8，用于权衡显存、速度与质量。推测解码支持 ngram 与 draft_model 两种方式，资料称自回归任务吞吐可提升 1.5-2.5 倍。
使用方式：可用命令行启动服务，如 vllm serve meta-llama/Meta-Llama-3.1-70B-Instruct --tensor-parallel-size 4 --max-model-len 8192；也可加 --quantization awq、--speculative-config 与 --gpu-memory-utilization 0.9。Python 中通过 from vllm import LLM, SamplingParams 初始化，设置 quantization、tensor_parallel_size、gpu_memory_utilization、enable_prefix_caching 等参数后调用 llm.generate。
适用场景：低延迟部署、大模型显存压缩、批推理吞吐最大化、边缘/移动端部署、硬件利用率成本优化。
限制与注意事项：资料提示应避免无校准数据使用 GPTQ、GPU 显存过度分配导致峰值 OOM、忽略预热请求造成冷启动延迟，以及未按真实负载基准测试；不同量化方式与特性混用可能不兼容。边缘部署、各量化方法的精确收益及语义路由器等内容，资料仅部分提及或标注为参考文档，未给出完整细节。