SuperAPI AI 工具集

mlflow-onboarding

智能体与模型

查看项目

更新于 10-16 03:15

技能介绍

用途:帮助用户根据自身场景快速上手 MLflow。MLflow 支持两类差异较大的使用场景:GenAI 应用与智能体(LLM 应用、聊天机器人、RAG、工具调用智能体,主要用 tracing 可观测、LLM 评测与提示词管理);传统机器学习/深度学习(scikit-learn、PyTorch、TensorFlow、XGBoost 等,主要用实验跟踪、模型记录与部署)。

主要能力与流程:

  1. 判定场景。优先检查代码库导入与用法(如 openai、langchain、mlflow.genai、mlflow.tracing 指向 GenAI;sklearn、torch、mlflow.sklearn 等指向 ML);也可查实验的 mlflow.experimentKind 标签(genai_development / custom_model_development);若无法判断,须直接询问用户,不要猜测。
  2. 推荐教程。GenAI 路径提供 Tracing、Evaluation、Version Tracking 快速入门;传统 ML 路径提供 Tracking、深度学习、超参数调优教程。
  3. 集成到项目。集成前须征得用户同意。GenAI 核心是 tracing,可用 mlflow.openai.autolog()、mlflow.anthropic.autolog()、mlflow.langchain.autolog()、mlflow.litellm.autolog(),未支持时用 @mlflow.trace 手动埋点;无明显 API 密钥时可用 mock 数据演示。传统 ML 核心是实验跟踪,可用 mlflow.sklearn.autolog()、mlflow.pytorch.autolog()、mlflow.tensorflow.autolog() 等,未支持时用 mlflow.log_param()、mlflow.log_metric()、mlflow.log_artifact() 手动记录。两者均可用 mlflow.set_experiment() 或环境变量 MLFLOW_EXPERIMENT_NAME 配置实验。
  4. 验证:GenAI 用 mlflow traces search 检查 trace,ML 用 mlflow runs search 检查 run,再在 MLflow UI 查看。

适用场景:需要把 MLflow 接入既有代码库、或不确定该走哪条上手路径的用户。限制:必须按代码与实验信号判定场景,模糊时须询问用户;改动代码前须获得同意;文档中未提供的功能、收费、平台与效果信息暂未提供。