用途：帮助设计 LLM 推理服务基础设施，在 vLLM、TGI、TensorRT-LLM、Triton、Ollama、llama.cpp 等框架间选型，并规划量化、批处理、流式响应与扩缩容策略。
主要能力：
- 框架对比与决策树：按延迟、吞吐、企业集成、本地边缘等需求选择框架。
- 量化：覆盖 FP32/FP16/INT8/INT4/INT2 精度，以及 PTQ、QAT、GPTQ、AWQ、GGUF/GGML、SmoothQuant 等方法及质量与效率权衡。
- 批处理：静态批处理与连续批处理（continuous batching），并列出 max_batch_size、max_waiting_tokens、max_num_seqs 等参数。
- KV 缓存：PagedAttention、前缀缓存、量化 KV 缓存、滑动窗口、MQA/GQA 等优化。
- 流式响应：SSE 与 WebSocket 的流程对比及重连、扩展性、负载均衡差异。
- 投机解码：草稿模型并生与验证流程及权衡因素。
- 扩缩容与成本：水平扩展、张量/流水线/数据并行、延迟优化清单、成本估算公式与多模型路由、缓存策略。
使用方式：资料未提供具体安装命令或代码示例，主要以概念、架构图、对比表和检查清单形式呈现，供设计决策参考。
适用场景：LLM 推理基础设施设计、生产部署量化选型、批处理与吞吐优化、流式系统搭建、成本可控的扩容规划。
限制：资料为设计指南，未给出可直接执行的安装步骤、完整实现代码或具体平台价格；部分数值（如内存节省、加速比）为示例性描述，实际效果需自行验证。