用途:指导用户用 MLflow 为 DSPy 程序做自动追踪、实验跟踪、模型注册与生产部署。MLflow 是开源机器学习全生命周期平台,其 DSPy 集成提供自动追踪、实验跟踪、模型注册和本地 UI。
主要能力:mlflow.dspy.autolog() 通过 OpenTelemetry 追踪所有 DSPy 调用,捕获 LM 调用(提示、响应、token 数、延迟)、检索(查询、段落、分数)、模块步骤输入输出、基于 token 的成本估算和错误堆栈。实验跟踪可记录超参数、指标与产物;模型注册可为优化后的 DSPy 程序做版本和阶段管理。mlflow ui 在 http://localhost:5000 提供追踪、实验、模型和产物视图。
使用方式:安装 pip install mlflow。启用自动追踪后即可正常调用 DSPy 程序。实验跟踪中用 mlflow.set_experiment、start_run、log_param、log_metric、log_artifact 记录优化运行,用 optimized.save 保存程序并作为产物上传。模型注册使用 mlflow.dspy.log_model 和 mlflow.register_model,加载用 mlflow.dspy.load_model,阶段切换用 MlflowClient.transition_model_version_stage。
适用场景:需要在一个工具内同时获得自动追踪与实验跟踪;需要模型注册来版本化优化后的 DSPy 程序;团队已用 MLflow 或 Databricks。
限制与对比:若只需最简追踪、本地内置评估或已使用 W&B,则应考虑 Langtrace、Phoenix 或 Weave;MLflow 偏重全生命周期,团队协作能力较基础。