用途:该技能指导使用 GIQ 在 GKE 上部署 AI/ML 推理工作负载,通过 gcloud container ai profiles manifests create 依据 Google 最佳实践与基准生成优化的 Kubernetes 清单。适用目标包括将 Llama、Gemma、Mistral 等模型部署到 GKE、为推理生成 Kubernetes 清单,或用户询问 GIQ、Inference Quickstart、GKE 上的 AI 基准测试。
前提条件:需要 GKE 集群(最好含 GPU/TPU 节点池,GIQ 也可帮助识别需求);已安装并认证 gcloud CLI(用于发现命令)。
工作流:
- 发现模型与硬件。列出所有支持的模型:gcloud container ai profiles models list。查找特定模型可用的加速器与服务器:gcloud container ai profiles list --model=<MODEL_NAME>(将 <MODEL_NAME> 替换为列表中的模型,如 gemma-2-9b-it)。查看基准/配置(可选):同样使用上述命令查看成本与延迟目标。
- 生成清单。使用 gcloud container ai profiles manifests create,确保使用 CLI 最新支持的参数。参数包括 --model(模型 ID,如 gemma-2-9b-it)、--model-server(推理服务器,如 vllm、tgi、triton、tensorrt-llm)、--accelerator-type(加速器类型,如 nvidia-l4、nvidia-tesla-a100)、--target-ntpot-milliseconds(可选,目标每输出 token 归一化时间,单位毫秒)。示例:gcloud container ai profiles manifests create --model=gemma-2-9b-it --model-server=vllm --accelerator-type=nvidia-l4 --target-ntpot-milliseconds=50 > inference-workload.yaml。
- 审查与部署。保存输出到 inference-workload.yaml,检查占位符或特定要求(如 PVC、密钥);部分模型需要 Hugging Face token,需遵循密钥查询说明。部署:kubectl apply -f inference-workload.yaml。
故障排查:若清单创建因无效组合失败,重新运行第 1 步发现命令验证(模型、服务器、加速器)组合;配额问题需确保目标区域有足够加速器配额(如 NVIDIA_L4_GPUS)。
限制:资料未提供具体收费、价格、平台支持范围或效果数据;实际可用模型、服务器与加速器组合以 CLI 发现命令结果为准。