用途:该技能用于构建生产级机器学习流水线,覆盖数据摄取→数据准备→模型训练→模型验证→模型部署→监控的完整生命周期,适合从零搭建 ML 流水线、设计工作流编排、实现数据到模型到部署的自动化、建立可复现训练流程以及基于 DAG 的 ML 编排。
主要能力:流水线架构设计(端到端工作流、DAG 编排模式如 Airflow、Dagster、Kubeflow,组件依赖与数据流、错误处理与重试);数据准备(数据校验与质量检查、特征工程、数据版本与血缘、训练/验证/测试切分);模型训练(训练任务编排、超参数管理、实验追踪集成、分布式训练);模型验证(验证框架与指标、A/B 测试、性能回归检测、模型对比);部署自动化(模型服务模式、金丝雀发布、蓝绿部署、回滚机制)。
使用方式:先明确目标、约束与所需输入,再按阶段定义流水线(如 data_ingestion、data_validation、feature_engineering、model_training、model_validation、model_deployment),配置依赖关系,并参考 assets/pipeline-dag.yaml.template 等模板。建议遵循模块化、幂等性、可观测性、版本化与失败重试等最佳实践,逐步从线性流水线扩展到验证监控、超参数调优、A/B 测试与多模型集成。
限制:本目录副本未包含 assets/pipeline-dag.yaml.template、references/data-preparation.md、references/model-training.md 等外部支撑文件,也未提供已验证的下载来源;依赖这些路径的步骤在文件就位前不可执行,也不得伪造缺失脚本。输出不能替代环境相关的验证、测试或专家评审;若缺少必要输入、权限、安全边界或成功标准,应停止并请求澄清。相关技能包括 experiment-tracking-setup、hyperparameter-tuning、model-deployment-patterns。