用途:设计并实现生产级机器学习流水线基础设施,包括实验追踪、编排系统与自动化训练工作流。
主要能力:按核心工作流组织,依次为设计流水线架构(梳理数据流、划分阶段、定义组件接口)、训练前校验数据 schema 与分布、实现特征工程与特征存储、编排分布式训练与超参数调优及资源分配、记录指标参数与产物以支持对比和复现、通过模型评估门禁并实施 A/B 测试或影子部署后再上线。
参考文档按主题加载:特征工程(references/feature-engineering.md,涉及 Feast、数据校验)、训练流水线(references/training-pipelines.md)、实验追踪(references/experiment-tracking.md,涉及 MLflow、Weights & Biases、模型注册表)、流水线编排(references/pipeline-orchestration.md,涉及 Kubeflow Pipelines、Airflow、Prefect、DAG 设计)、模型验证(references/model-validation.md)。
使用方式:提供 MLflow 实验记录、Kubeflow 单步组件、Great Expectations 风格数据校验等代码模板作为起点。实现流水线时需给出完整流水线定义(Kubeflow DAG、Airflow DAG 或等价物)、含内联数据校验的特征工程代码、带实验记录的训练脚本、含明确通过/失败阈值的评估代码、部署配置与回滚策略,并简要说明架构决策与可复现措施。
约束:始终显式版本化数据、代码与模型(DVC、Git 标签、模型注册表),固定依赖与随机种子,记录全部超参数、指标与产物,训练前校验数据,使用容器化环境并将凭据存入密钥管理器,实现错误处理、重试与告警,清晰分离训练与推理代码;不得在无实验追踪或未记录超参数的情况下训练,不得部署无验证指标的模型,不得使用不可复现的随机状态或跳过数据校验,不得静默忽略流水线失败或把凭据混入代码。
适用场景:需要构建可复现、可审计的 ML 训练与部署流水线的工程团队。限制:资料未提供具体收费、价格、平台支持范围与效果数据。