SuperAPI AI 工具集

mlops-pipelines

部署与运维

查看项目

更新于 10-16 01:18

技能介绍

该技能主题为 MLOps 流水线,按用途可分为部署、监控、CI/CD、特征存储和模型版本管理几个部分。

部署策略方面,资料列出批量部署(按固定计划对累积数据运行,用于信用评分、流失预测、推荐,工具有 Apache Airflow、dbt、cron jobs 及云批处理服务)、实时部署(以 API 提供即时预测,用于欺诈检测、动态定价、个性化,工具有 Flask、FastAPI、TensorFlow Serving、TorchServe、KServe)、边缘部署(部署于 IoT、移动、嵌入式设备,用于计算机视觉、语音识别、离线场景,工具有 TensorFlow Lite、ONNX、Core ML、ML Kit)和流式部署(处理数据流并实时预测,用于实时分析、监控、异常检测,工具有 Apache Kafka、Apache Flink、Apache Spark Streaming),并分别说明优势与挑战。

监控与漂移检测涵盖性能监控(预测指标、准确率指标如 precision、recall、F1、MAE、RMSE、业务指标、延迟、吞吐)、数据漂移(协变量漂移、先验概率漂移、概念漂移,检测方法有统计检验、KL 散度、PSI,可视化用特征分布图)、漂移缓解(重训练触发、集成方法、在线学习、特征监控)和告警(阈值告警、异常检测、仪表盘监控、事件响应)。

CI/CD 部分列出 ML 流水线阶段(数据摄取、特征工程、模型训练、模型评估、模型部署、监控),持续集成包括代码测试、数据校验、模型测试、制品存储、自动化构建;持续部署包括自动部署、金丝雀发布、A/B 测试、回滚、蓝绿部署。MLOps 平台列出 MLflow、Kubeflow、Vertex AI、SageMaker、Azure ML。

特征存储部分介绍其收益(复用性、一致性、低延迟、版本管理、治理)、特征类型(批量、流式、按需、派生)、架构(离线存储、在线存储、特征注册表、特征监控)与工具(Feast、Tecton、Hopsworks、AWS Feature Store、Azure Feature Store)。模型版本与注册表包括版本号、元数据、制品、血缘、标签,注册表提供中心仓库、模型晋级、访问控制、模型搜索和文档,制品包括模型文件、配置文件、训练代码、评估结果、部署制品,生命周期分开发、预发布、生产、退役、归档。最佳实践强调可复现性、文档、测试、监控与治理。具体收费、价格和平台细节暂未提供。