用途：将大语言模型部署到生产或本地环境，并按性能与场景选择推理方案。
主要能力：介绍 vLLM、Text Generation Inference（TGI）、Ollama 及 OpenAI、AWS Bedrock、Replicate 等云推理端点的部署方式；给出各平台在易用性、成本、扩展性、延迟和适用场景上的对比；包含 FastAPI 自建推理服务（含 /generate、/health 接口）、Dockerfile、Docker Compose 与 Kubernetes 部署清单示例。
使用方式：vLLM 通过 pip install vllm 后用 python -m vllm.entrypoints.openai.api_server --model ... --port 8000 --tensor-parallel-size 1 启动，提供 OpenAI 兼容接口；TGI 用 docker run --gpus all -p 8080:80 ghcr.io/huggingface/text-generation-inference:latest 部署；Ollama 用 curl -fsSL https://ollama.ai/install.sh | sh 安装并 ollama run llama2 运行。优化手段包括 8-bit/4-bit 量化、vLLM 动态批处理、PagedAttention 等 KV 缓存优化。
适用场景：生产推理服务、HuggingFace 生态部署、本地开发调试、快速原型与企业级托管。
限制：资料未提供具体许可证、收费金额、SLA 或性能基准数据，实际选型需自行验证；量化与显存配置需结合具体模型和硬件；部分示例依赖 NVIDIA GPU 环境。