SuperAPI AI 工具集

ecs-genai

部署与运维

查看项目

更新于 10-16 05:00

技能介绍

用途:为在 Amazon ECS-on-EC2 上运行 GPU 加速、ML 训练和 GenAI 推理工作负载提供端到端指导,聚焦 ECS 特有的算力与容量机制。

主要能力:涵盖 GPU 优化 AMI 与 NVIDIA 容器运行时、每种 GPU 类型一个同构 ASG 的容量提供程序模式、EC2 Capacity Blocks for ML、AWS Neuron(Inferentia/Trainium)、容器推理服务、分布式 ML 及加速器可观测性。

核心限制:AWS Fargate 不支持 GPU 或 AWS 加速器,GPU 仅可用于 ECS-on-EC2、ECS Managed Instances 和 ECS Anywhere/External。ECS 无原生 MIG/时间分片调度;共享 GPU 需手动配置且无内存隔离,仅适合开发测试。分布式多节点训练须配合 EFA 与置放群组。

使用决策:按计算主机(EC2/Managed Instances/Anywhere)、加速器(NVIDIA GPU 或 Neuron)、容量模型、工作负载形态、边界检查五步选择;Kubernetes/EKS GenAI 应使用 eks-genai,全托管训练或托管模型 API 应分别使用 SageMaker 或 Bedrock。具体命令与详细配置暂未提供。