用途：在 GKE 上部署与优化 AI/ML 推理负载。资料覆盖使用 Google 的 Inference Quickstart（GIQ）部署 LLM 等方法，以及 LLM 服务的最佳实践。
适用时机：将模型（Llama、Gemma、Mistral 等）部署到 GKE；生成面向推理优化的 Kubernetes 清单；为模型服务选择 GPU/TPU 加速器；配置 LLM 推理自动伸缩。
前置条件：一条 golden path 的 GKE Autopilot 集群（GPU 负载通过 ComputeClasses 与 NAP 支持）；gcloud CLI 已认证；目标区域有足够的 GPU/TPU 配额。
主要能力与用法：先做发现，列出受支持模型与可用的模型/服务器组合：gcloud container ai profiles models list --quiet，gcloud container ai profiles list --model=<MODEL_NAME> --quiet。再生成清单：gcloud container ai profiles manifests create --model=<MODEL_NAME> --model-server=<SERVER> --accelerator-type=<ACCELERATOR> --target-ntpot-milliseconds=<NTPOT> --quiet > inference.yaml。其中 --model 为模型 ID，--model-server 为推理服务器（vllm、tgi、triton、tensorrt-llm），--accelerator-type 为 GPU/TPU 类型（如 nvidia-l4、nvidia-tesla-a100、nvidia-h100-80gb），--target-ntpot-milliseconds 可选用于延迟优化。随后审查清单中的占位符（HF token、PVC），用 kubectl apply -f inference.yaml 部署，并以 kubectl get pods -w、kubectl logs -f <POD_NAME> 观察。部分模型需 Hugging Face token，应创建 Kubernetes Secret 并在清单中引用。
配套工具：MCP 工具包括 apply_k8s_manifest、get_k8s_resource、get_k8s_logs、get_k8s_rollout_status、describe_k8s_resource、list_k8s_events；仅 CLI 可用 gcloud container ai profiles *。
加速器与自动伸缩：资料给出加速器选型参考（T4、L4、RTX PRO 6000、TPU v5e/v5p/v6e/v7x、A100、H100/H200、B200、GB200 等及其适用场景、显存与相对成本）。自动伸缩可按 GPU 利用率自定义指标配置 HPA，建议使用 DCGM 指标、合理设置 minReplicas、放宽缩容稳定窗口，并在延迟敏感场景考虑按排队深度伸缩。优化提示包括量化（GPTQ、AWQ）、批处理、张量并行与 KV 缓存调优。
限制与排障：资料给出常见问题及修复（模型/加速器组合无效、GPU 配额超限、GPU OOM、冷启动慢），但未提供具体价格数值与部署后的实际性能结论。