用途：指导用户用 vLLM 为 DSPy 生产部署提供自托管模型服务，支持高并发、多 GPU 与 OpenAI 兼容 API。
主要能力：vLLM 是高吞吐推理引擎，具备 PagedAttention（内存效率约为朴素注意力 4 倍）、连续批处理、张量并行、OpenAI 兼容 API、推测解码。适合生产 API（10+ 并发）、多 GPU 服务、批量处理；不适合 macOS、Apple Silicon、快速原型或无自托管需求的云 API 场景。vLLM 需要 NVIDIA GPU（CUDA），不支持 Apple Silicon，AMD ROCm 支持为实验性。
使用方式：安装 pip install vllm，需 Python 3.9+、CUDA 12.1+、Linux 或 WSL2。启动服务：vllm serve meta-llama/Llama-3.1-8B-Instruct，可加 --host 0.0.0.0 --port 8000 --max-model-len 8192 --gpu-memory-utilization 0.9 --dtype auto。DSPy 连接用 dspy.LM("openai/meta-llama/Llama-3.1-8B-Instruct", api_base="http://localhost:8000/v1", api_key="none")，注意 dspy.HFClientVLLM 已弃用。多 GPU 用 --tensor-parallel-size。量化用 --quantization awq 或 gptq。DSPy 优化建议加 --enable-prefix-caching 与 --max-num-seqs 256。
限制：需按显存选择模型与量化，注意 KV 缓存约 20% 开销，--max-model-len 过高会 OOM；api_key 虽不校验但必须提供非空值。资料未提供具体收费与价格信息。