SuperAPI AI 工具集

mlops

部署与运维

查看项目

更新于 10-15 17:22

技能介绍

用途:在 AWS 上提供端到端 MLOps 专业指导,覆盖平台选型、训练任务配置、推理部署模式、ML 的 CI/CD、实验追踪、模型监控与成本优化。

主要能力:

  1. 平台选型决策矩阵。端到端托管选 SageMaker(full);ML CI/CD 与自动重训选 SageMaker Pipelines;已有 MLflow 且需跨云可移植选 SageMaker 上的托管 MLflow;定制基础模型选 Bedrock 微调/继续预训练;Kubernetes 团队选 EKS 上的 Kubeflow;轻量编排选 Step Functions + Lambda;大规模基础模型训练选 SageMaker HyperPod。
  2. 训练与推理实例选型。训练实例含 ml.trn1/ml.trn1n(Trainium)、ml.p5.48xlarge、ml.p4d.24xlarge、ml.g5、ml.m5 等;推理实例含 ml.inf2(Inferentia2)、ml.g5、ml.g4dn、ml.c7g/c6g、Serverless。资料建议在架构受支持时优先评估 Trainium/Inferentia,并指出需通过 Neuron SDK 支持矩阵确认。
  3. 推理部署决策矩阵。实时端点、Serverless、Batch Transform、异步推理四种模式,并给出延迟、负载、超时与计费模型对比;实时端点模式含单模型、多模型(MME)、多容器与影子测试。
  4. SageMaker Pipelines 步骤类型(Processing、Training、Tuning、Transform、Model、Condition、Callback、Lambda、QualityCheck、ClarifyCheck、Fail)与 Model Registry 的版本追踪、审批流、血缘、跨账户部署能力。
  5. MLflow on AWS。默认推荐 SageMaker 托管 MLflow;仅在需要自定义插件、特定版本或多云可移植时自建 EKS MLflow。
  6. 模型监控四个维度:数据质量、模型质量、偏差漂移、特征归因漂移,并说明数据捕获、基线创建、监控调度、CloudWatch 告警与自动重训。
  7. 分布式训练(数据并行 SMDDP、模型并行 SMP)、超参调优策略(Bayesian、Random、Grid、Hyperband)与成本优化(Managed Spot、Savings Plans、Serverless、实例右调)。

使用方式:先识别负载特征(模型类型、数据量、延迟、流量、团队经验),再用 awsknowledge MCP 工具核对当前实例类型、配额、价格与功能可用性,然后按决策矩阵选型并设计训练、推理、流水线、追踪与监控。

适用场景:在 AWS 上搭建或优化 ML 平台、训练与推理架构、ML CI/CD、监控与成本治理的团队。

限制:资料未提供具体定价数值、配额上限、支持区域及完整示例代码;以官方最新文档为准。