MLflow 是最大的开源 AI 工程平台，面向智能体（Agents）、LLM 和机器学习模型，用于调试、评估、监控和优化 AI 应用，适用于各种规模的团队。
用途： MLflow 的目标是帮助团队快速交付高质量 AI。构建 AI 产品依赖持续迭代，MLflow 通过简化 LLM 应用、智能体与模型的调试、评估和监控流程，让迭代速度提升 10 倍。
主要能力：
- 可观测性与追踪：捕获 LLM 应用和智能体的完整 trace，深入洞察其行为。基于 OpenTelemetry 构建，支持任意 LLM 提供商和智能体框架。可监控生产环境的质量、成本与安全性。
- 系统化评估：运行系统化评估，长期跟踪质量指标，在回归进入生产前将其捕获。提供 50+ 内置指标和 LLM 评判器，也可通过高度灵活的 API 自定义。利用 AI 驱动分析，自动检测 trace 中在正确性、延迟、执行、遵循度、相关性和安全性等维度的问题。
- 提示词与优化：对提示词进行版本管理、测试和部署，并提供完整的血缘追踪。使用先进算法自动优化提示词以提升性能。
- AI Gateway：面向所有 LLM 提供商的统一 API 网关，通过 OpenAI 兼容的统一接口路由请求、管理速率限制、处理回退并控制成本。
- 部署：用一条命令将智能体部署到生产环境。MLflow Agent Server 提供基于 FastAPI 的托管方案，具备自动请求验证、流式支持和内置追踪，可在几分钟内从原型走向生产端点。
使用方式： 启动 MLflow Server 只需一条命令（也提供 Docker 方式）： uvx mlflow server
添加少量代码即可开始捕获 trace、指标和参数： import mlflow mlflow.set_tracking_uri("http://localhost:5000") mlflow.openai.autolog()
随后照常运行代码，即可在 MLflow UI 中查看 trace 和指标： from openai import OpenAI client = OpenAI() client.responses.create( model="gpt-5-mini", input="Hello!", )
此外，官方提供一条命令让编码智能体自动完成 MLflow tracing 设置： curl -LsSf https://mlflow.org/wizard/setup.sh | sh
适用场景： MLflow 适用于需要调试、评估、监控和优化 LLM 应用、智能体及机器学习模型的团队和组织，覆盖从原型到生产的完整流程。对于机器学习模型开发，MLflow 提供实验跟踪、模型评估能力、生产模型注册表和模型部署工具。其开源、开放的特性适合希望避免供应商锁定、使用任意云和框架的用户。
限制与说明： MLflow 采用 Apache 2.0 许可，100% 开源，永久免费，无附加条件，无供应商锁定，可与任意云、框架或工具配合使用。它已在财富 500 强公司和数千个团队中经过大规模实战验证，拥有 20K+ GitHub stars、900+ 贡献者和每月超过 3000 万次下载。可开箱即用地支持 LangChain、OpenAI、PyTorch 等 100+ AI 框架。除上述开源与免费声明外，其他定价、付费计划或商业支持等细节暂未提供。
