SuperAPI AI 工具集

mlflow-onboarding

智能体与模型

查看项目

更新于 10-15 20:32

技能介绍

用途:帮助用户接入 MLflow。MLflow 支持两条差异很大的入门路径——GenAI 应用与智能体(LLM 应用、聊天机器人、RAG、工具调用智能体,关注 tracing、LLM 评审评估、提示词管理),以及传统 ML/深度学习(scikit-learn、PyTorch、TensorFlow、XGBoost 等,关注实验追踪、模型记录、部署)。

主要能力:第一步判定用例。先查代码库信号,例如 GenAI 侧 openai、anthropic、langchain、litellm、mlflow.genai、mlflow.tracing 等导入;传统 ML 侧 sklearn、torch、tensorflow、xgboost 及 .fit() 等。若实验 ID 已知,可查 mlflow.experimentKind 标签:genai_development 或 custom_model_development,未设置则继续。信号不明时必须直接询问用户,不要猜测。

第二步按用例推荐官方 quickstart:GenAI 路径含 tracing(Python+OpenAI、TypeScript+OpenAI、OpenTelemetry 变体)、评估、版本追踪;传统 ML 路径含 scikit-learn 追踪、PyTorch 深度学习、Optuna 超参调优。文档入口分别为 https://mlflow.org/docs/latest/genai/getting-started/ 与 https://mlflow.org/docs/latest/ml/getting-started/。

第三步在用户同意后集成。GenAI 核心是 tracing:受支持提供方可调用 mlflow.openai.autolog()、mlflow.anthropic.autolog()、mlflow.langchain.autolog()、mlflow.litellm.autolog(),需在 LLM 调用前执行;不支持时用 @mlflow.trace 手动埋点。传统 ML 核心是实验追踪:mlflow.sklearn.autolog()、mlflow.pytorch.autolog()、mlflow.tensorflow.autolog()、mlflow.xgboost.autolog()、mlflow.lightgbm.autolog(),需在训练前调用;不支持时用 mlflow.log_param/log_metric/log_artifact 手动记录。实验通过 mlflow.set_experiment 或 MLFLOW_EXPERIMENT_NAME 配置。

验证:GenAI 用 mlflow traces search 检查痕迹;传统 ML 用 mlflow runs search 检查运行,再在 MLflow UI 查看。

限制:须先判定用例,路径错误会浪费时间;支持框架列表以官方文档为准;为无密钥用户创建示例时使用 @mlflow.trace 和 mlflow.start_span 的模拟数据,不假设存在外部 LLM API 密钥;修改用户代码前必须取得同意。