用途:为在 Amazon EKS 上运行生成式 AI/LLM 工作负载提供端到端、有明确倾向的指导,按六层栈组织:算力硬件、集群与调度、编排框架、存储、可观测性、AI 网关/应用。推荐 AWS 规范参考栈 JARK(JupyterHub + Argo + Ray + Karpenter)加 vLLM 服务与 LiteLLM 网关,并说明偏离该栈的替代方案与适用条件。
主要能力:硬件选型(NVIDIA GPU p5/g6/g6e 对比 AWS Neuron Trainium/Inferentia);LLM 服务与分布式训练/微调(vLLM、Ray Serve、Triton、KServe);GPU/Neuron 调度(Karpenter NodePools、设备插件、EFA、Capacity Blocks、Spot);ML 存储(FSx for Lustre、Mountpoint S3 CSI、EFS、S3 Vectors);可观测性(DCGM Exporter、Neuron Monitor、Prometheus/Grafana、AMP/AMG);AI 网关(LiteLLM/Envoy)、RAG 与智能体平台;成本优化(Neuron 迁移、Spot+检查点、KV 缓存分层、整合)。
使用方式:首次接触按第 1 层到第 6 层自底向上梳理,优化时自顶向下复查。参考资料按需加载,如 compute-hardware.md、cluster-and-scheduling.md、inference-serving.md、distributed-training.md、storage.md、observability.md、ai-gateway.md、agentic-and-rag.md、kv-cache-and-cost.md、security-and-compliance.md、reference-implementations.md、use-cases.md。
适用场景:在 EKS 上自托管 LLM 推理、分布式训练/微调、Neuron 迁移、RAG 与智能体平台、多模型网关。
限制:不适用于仅用 SageMaker 或 Bedrock(不自托管)的场景;不用于尚未确定是否以 EKS 为基础、或与 AI/ML 无关的通用集群设计;ML 团队自助式黄金路径/内部开发者平台应使用 eks-platform-engineering。安全基线为强制项,包括 Pod Identity/IRSA、ECR 镜像扫描、Secrets Store CSI、模型来源校验、私有子网与 VPC 端点、审计日志、Pod Security Admission。成本只给方向性区间,不给点估计。具体版本与命令资料未提供。