SuperAPI AI 工具集

ml-pipeline-setup

数据与分析

查看项目

更新于 10-15 20:33

技能介绍

用途:在 Databricks 上搭建生产级机器学习流水线,基于 MLflow 3.1+、Unity Catalog 模型注册表与 Databricks 特征工程,保证训练与推理一致。适用于实现 ML 流水线、训练模型、部署批量推理、注册模型到 Unity Catalog、排查 MLflow 实验与推理错误、配置 Asset Bundle 作业、创建带主键与 NaN 处理的特征表。

主要能力:先读取 plans/manifests/ml-manifest.yaml 计划清单作为实现检查表,缺失时回退到 Gold 表自发现;创建 Unity Catalog 特征表;用 FeatureLookup、create_training_set、fe.log_model 训练并记录模型;用 fe.score_batch 做批量推理,自动检索特征;提供实验、模型注册、DAB 集成、特征存储、数据质量与排错参考文档。

使用方式:快速路径为依次运行 databricks bundle run ml_feature_pipeline_job -t dev、ml_training_pipeline_job -t dev、ml_inference_pipeline_job -t dev。关键规则包括固定包版本(如 mlflow==3.7.0)、实验路径用 /Shared/、在 mlflow.start_run() 内记录数据集、用 dbutils.notebook.exit("SUCCESS") 标记退出、UC 模型需 output_schema、特征表源头清理 NaN/Inf、标签二值化、排除标签列、数值特征转 DOUBLE、lookup_key 与主键完全匹配、推理用 fe.score_batch、辅助函数内联、用 sys.path.insert(0, _bundle_root) 设置路径。

限制:资料未提供具体收费、价格、平台支持范围与效果保证;部分内容为模板与经验规则,实际行为取决于环境配置。