SuperAPI AI 工具集

mlops-dag-builder

设计与创作

查看项目

更新于 10-15 19:56

技能介绍

用途:指导构建平台无关的 MLOps 流水线,聚焦 DAG 工作流架构设计,而非 SpecWeave 集成。适用于通用 MLOps 架构、Airflow/Dagster DAG 及云 ML 平台;若需 SpecWeave 增量式 ML 开发与实验追踪,则使用 ml-pipeline-orchestrator。

主要能力:流水线架构设计、组件依赖与数据流、错误处理与重试策略;数据校验与质量检查、特征工程、数据版本与血缘、划分策略;训练任务编排、超参数管理、实验追踪集成、分布式训练;验证框架与指标、A/B 测试、性能回归检测、模型对比;部署自动化、服务模式、金丝雀与蓝绿部署、回滚机制。集成点包括 Airflow、Dagster、Kubeflow Pipelines、Prefect,MLflow、Weights & Biases、TensorBoard,以及 SageMaker、Vertex AI、Azure ML、Kubernetes + KServe。

使用方式:先定义流水线阶段并配置依赖,示例阶段为 data_ingestion、data_validation、feature_engineering、model_training、model_validation、model_deployment。可按渐进方式从线性流水线(data → train → deploy)逐步增加验证监控、超参数调优、A/B 测试与灰度发布、多模型集成。建议遵循模块化、幂等、可观测、版本化与失败处理等最佳实践,数据管理可使用 Great Expectations、TFX、DVC,模型注册可使用 MLflow 或 W&B。

适用场景:批量训练流水线、实时特征流水线、持续训练与按计划重训、数据漂移触发的重训等。

限制:该技能聚焦架构指导,不包含具体的 SpecWeave 集成方案;资料未提供价格、平台可用性、性能数据或完整实现细节。相关技能包括 ml-pipeline-orchestrator、experiment-tracker、automl-optimizer、ml-deployment-helper。