用途
本技能用于设计并实现完整的机器学习流水线,定位为多智能体 MLOps 编排。当用户需要处理机器学习流水线、多智能体 MLOps 编排相关任务或工作流,或需要该领域的指导、最佳实践与检查清单时,可使用本技能。若任务与机器学习流水线、多智能体 MLOps 编排无关,或需要本范围之外的其它领域或工具,则不应使用。
主要能力
该工作流编排多个专业智能体,遵循现代 MLOps 最佳实践构建生产就绪的 ML 流水线,强调:
- 基于阶段的协调:每个阶段基于前一阶段的输出,智能体之间有清晰的交接。
- 现代工具集成:MLflow/W&B 用于实验,Feast/Tecton 用于特征,KServe/Seldon 用于服务。
- 生产优先思维:每个组件都面向规模、监控与可靠性设计。
- 可复现性:对数据、模型和基础设施进行版本控制。
- 持续改进:自动重训练、A/B 测试与漂移检测。
多智能体方式确保每个方面由领域专家处理:数据工程师负责摄取与质量;数据科学家设计特征与实验;ML 工程师实现训练流水线;MLOps 工程师负责生产部署;可观测性工程师确保监控。
使用方式
技能按四个阶段推进,每个阶段给出交付物与实现要求:
阶段一:数据与需求分析 交付物包括:数据源审计与摄取策略(源系统与连接模式、使用 Pydantic/Great Expectations 进行模式验证、使用 DVC 或 lakeFS 进行数据版本控制、增量加载与 CDC 策略);数据质量框架(画像与统计生成、异常检测规则、数据血缘追踪、质量门与 SLA);存储架构(原始/处理/特征分层、分区策略、保留策略、成本优化)。同时提供关键组件与集成模式的实现代码。
阶段二:模型开发与训练 交付物包括:特征工程流水线(转换规范、特征存储模式 Feast/Tecton、统计验证规则、缺失数据/异常值处理策略);模型需求(算法选择理由、性能指标与基线、训练数据需求、评估标准与阈值);实验设计(假设与成功指标、A/B 测试方法、样本量计算、偏差检测方法)。包含特征转换代码与统计验证逻辑。构建训练系统:模块化训练代码、超参数优化(Optuna/Ray Tune)、分布式训练(Horovod/PyTorch DDP)、交叉验证与集成策略;实验跟踪(MLflow/Weights & Biases 集成、指标记录与可视化、制品管理、实验比较工具);模型注册(版本控制与标签策略、模型元数据与血缘、晋升工作流 dev->staging->prod、回滚流程)。同时关注代码质量与结构、性能优化、测试框架(数据转换单元测试、流水线组件集成测试、模型质量测试、性能回归测试)。
阶段三:生产部署与服务 实现要求包括:模型服务基础设施(FastAPI/TorchServe 的 REST/gRPC API、Airflow/Kubeflow 批量预测、Kafka/Kinesis 流处理、KServe/Seldon Core 服务平台);部署策略(蓝绿部署、金丝雀发布与流量拆分、影子部署、A/B 测试基础设施);CI/CD(GitHub Actions/GitLab CI 工作流、自动化测试门、部署前模型验证、ArgoCD 的 GitOps 部署);基础设施即代码(Terraform 模块、Helm charts、Docker 多阶段构建、Vault/Secrets Manager 密钥管理)。Kubernetes 相关要求包括:工作负载编排(Kubeflow 训练任务调度、GPU 资源分配与共享、Spot/抢占式实例集成、优先级类与资源配额);服务基础设施(HPA/VPA 自动扩缩、KEDA 事件驱动扩缩、Istio 服务网格、模型缓存与预热);存储与数据访问(训练数据 PVC 策略、CSI 驱动模型制品存储、特征存储分布式存储、推理优化缓存层)。
阶段四:监控与持续改进 监控框架包括:模型性能监控(预测准确率追踪、延迟与吞吐指标、特征重要性变化、业务 KPI 关联);数据与模型漂移检测(统计漂移检测 KS 检验、PSI、概念漂移监控、特征分布追踪、自动漂移告警与报告);系统可观测性(Prometheus 指标、Grafana 仪表盘、Jaeger/Zipkin 分布式追踪、ELK/Loki 日志聚合);告警与自动化(PagerDuty/Opsgenie 集成、自动重训练触发、性能退化工作流、事件响应手册);成本追踪(资源利用率指标、按模型/实验分摊成本、优化建议、预算告警与控制)。
配置选项
- experiment_tracking: mlflow | wandb | neptune | clearml
- feature_store: feast | tecton | databricks | custom
- serving_platform: kserve | seldon | torchserve | triton
- orchestration: kubeflow | airflow | prefect | dagster
- cloud_provider: aws | azure | gcp | multi-cloud
- deployment_mode: realtime | batch | streaming | hybrid
- monitoring_stack: prometheus | datadog | newrelic | custom
适用场景
适用于需要端到端 ML 流水线设计、MLOps 最佳实践指导、检查清单,或需要多智能体协作完成数据、训练、部署、监控全流程的任务。成功标准涵盖数据流水线(生产数据质量问题 < 0.1%、自动数据验证 99.9% 通过、完整数据血缘、亚秒级特征服务延迟)、模型性能(达到或超过基线、重训练前性能退化 < 5%、统计显著的 A/B 测试、24 小时内检测到模型漂移)、运营卓越(模型服务 99.9% 可用性、p99 推理延迟 < 200ms、5 分钟内自动回滚、1 分钟内告警)、开发速度(提交到生产 < 1 小时、并行实验、可复现训练、自助模型部署)与成本效率(基础设施浪费 < 20%、优化资源分配、按负载自动扩缩、Spot 实例利用率 > 60%)。
限制
仅当任务明确匹配上述范围时使用本技能。不应将输出视为环境特定验证、测试或专家评审的替代。若缺少必需输入、权限、安全边界或成功标准,应停止并请求澄清。