SuperAPI AI 工具集

ml-pipeline-workflow

办公与效率

查看项目

更新于 10-16 03:37

技能介绍

用途:该技能用于构建生产级机器学习流水线,覆盖数据摄取、数据准备、模型训练、验证、部署与监控的完整生命周期,适合从零搭建 ML 流水线、设计工作流编排、实现数据到部署的自动化、建立可复现训练流程以及创建基于 DAG 的 ML 编排。

主要能力:流水线架构与 DAG 编排模式(Airflow、Dagster、Kubeflow),组件依赖与数据流、错误处理与重试;数据准备含数据校验与质量检查、特征工程、数据版本与血缘、训练/验证/测试切分;模型训练含训练任务编排、超参数管理、实验追踪集成、分布式训练;模型验证含验证框架与指标、A/B 测试、性能回归检测与模型对比;部署自动化含模型服务模式、金丝雀与蓝绿部署、回滚机制。

使用方式:先明确目标、约束与输入,再按阶段定义流水线,例如 stages = ["data_ingestion", "data_validation", "feature_engineering", "model_training", "model_validation", "model_deployment"],并配置依赖。参考 references/ 下的 data-preparation.md、model-training.md、model-validation.md、model-deployment.md;assets/ 提供 pipeline-dag.yaml.template、training-config.yaml、validation-checklist.md。可按渐进方式从线性流水线逐步加入验证、监控、调参、A/B 测试与多模型集成。

适用场景:新建 ML 流水线、工作流编排设计、训练可复现、生产集成与持续训练。

限制:不适用于与 ML 流水线无关的任务或超出该领域的工具;具体平台、收费与效果资料暂未提供。