用途:编排端到端机器学习工作流,覆盖数据采集、校验、特征工程、训练、评估、部署与监控,适合构建可复现流水线、定时重训练、实验跟踪、MLOps 基础设施与模型版本管理。
主要能力:提供 Airflow、Kubeflow、MLflow 的生产实践模式;对比 Airflow、Kubeflow、MLflow、Prefect、Dagster 的适用场景;包含条件分支、并行训练、文件传感器等待数据等常见模式;并针对任务静默失败、XCom 数据缺失、DAG 未出现在 UI、硬编码路径、任务卡死、缺少数据校验、实验未跟踪等问题给出处理建议。
使用方式:安装依赖并初始化数据库,例如 pip install apache-airflow==3.1.5 mlflow==3.7.0、airflow db init;在 dags/ 下创建 DAG 文件,启动 airflow scheduler 与 airflow webserver --port 8080,再用 airflow dags trigger ml_training_pipeline 触发,UI 地址为 http://localhost:8080。训练任务中通过 mlflow.set_tracking_uri 与 mlflow.start_run 记录参数、指标和模型。
适用场景:需要定时重训练、多步骤依赖编排、模型注册与部署生命周期管理、数据质量校验和流水线监控的团队。
限制:资料未提供具体收费、价格、平台支持范围与效果数据;示例版本为 2025 年 12 月时点,使用前应查 PyPI 最新稳定版;部分内容为示例代码,需按实际环境调整。