用途：面向大语言模型推理与部署，帮助在多种硬件上选择合适的推理引擎并优化性能。
主要能力：提供引擎对比（vLLM、llama.cpp、TGI、Ollama、TensorRT-LLM），按场景给出推荐，如生产 API 服务选 vLLM 或 TGI，本地开发选 Ollama 或 llama.cpp，纯 CPU 或边缘设备选 llama.cpp，Apple Silicon 用 llama.cpp 配合 Metal。
关键内容：vLLM 采用 PagedAttention、连续批处理、投机解码，提供 OpenAI 兼容接口，但需要 GPU 且配置较复杂。llama.cpp 为 C++ 推理，支持 GGUF 量化格式（Q8_0、Q6_K、Q5_K_M、Q4_K_M、Q2_K），并给出 7B 至 70B 模型的显存需求参考；平台优化涉及 n_gpu_layers、offload_kqv、n_threads 等设置。
优化概念：KV 缓存、连续批处理、张量并行、量化、投机解码、GPU 卸载。常见参数包括 n_ctx、n_gpu_layers、temperature、max_tokens、n_threads。排错涵盖显存不足、推理慢、模型无法加载、Metal 失效、质量差等。
限制：资料未提供具体安装命令、代码示例、收费与价格信息，也未说明各引擎的版本要求与完整基准数据。