用途:为生产级 ML 流水线提供端到端编排指导,覆盖数据摄入、准备、训练、验证、部署、监控全生命周期,适用于从零构建流水线、设计工作流编排、实现数据到模型再到部署的自动化、构建可复现训练流程、创建基于 DAG 的 ML 编排,以及将 ML 组件集成到生产系统。
主要能力:流水线架构(端到端设计、DAG 编排模式如 Airflow、Dagster、Kubeflow、组件依赖与数据流、错误处理与重试);数据准备(校验与质量检查、特征工程、数据版本与血缘、训练/验证/测试切分);模型训练(训练任务编排、超参数管理、实验追踪集成、分布式训练);模型验证(验证框架与指标、A/B 测试基础设施、性能回退检测、模型对比);部署自动化(模型服务模式、金丝雀发布、蓝绿部署、回滚机制)。
参考与资产:references 目录含 data-preparation.md、model-training.md、model-validation.md、model-deployment.md;assets 目录含 pipeline-dag.yaml.template、training-config.yaml、validation-checklist.md。示例中定义阶段:stages = ["data_ingestion", "data_validation", "feature_engineering", "model_training", "model_validation", "model_deployment"];批训练 DAG 示例见 pipeline-dag.yaml.template。
使用方式:先定义流水线阶段与依赖,再按数据准备、训练、验证、部署四阶段组织;建议从简单线性流水线逐步增加验证、监控、超参调优、A/B 测试与多模型集成。集成点包括 Airflow、Dagster、Kubeflow、Prefect,实验追踪 MLflow、Weights & Biases、TensorBoard,部署平台 SageMaker、Vertex AI、Azure ML、OCI Data Science、Kubernetes + KServe。
限制:资料未提供具体安装命令、收费或价格、性能数据;实际落地需结合所选用编排、追踪与部署平台,并注意训练与服务基础设施分离、模型注册、渐进发布与漂移监控。