用途:评估或改进现有 LLM 智能体的输出质量,包括提升工具选择准确率与回答质量。以 MLflow 为唯一评估基础设施,覆盖追踪设置、环境配置、数据集创建、评分器定义与评估执行,各部分可独立使用。
主要能力与要求:必须使用 MLflow 原生 API,而非自建框架——数据集用 mlflow.genai.datasets.create_dataset(),评分器用 mlflow.genai.scorers 与 mlflow.genai.judges.make_judge(),评估用 mlflow.genai.evaluate(),脚本使用自带 scripts/ 目录模板。原因在于 MLflow 会在实验中统一记录数据集、评分器、追踪与结果,自建框架会丢失可观测性。
使用方式:安装 MLflow 3.8+;命令统一用 uv run 执行,例如 uv run mlflow --version、uv run python scripts/xxx.py。先检查 MLFLOW_TRACKING_URI 与 MLFLOW_EXPERIMENT_ID 是否已配置,已配置则跳过环境设置,直接做追踪集成与评估。追踪须先于评估可用,并用 scripts/validate_tracing_runtime.py 验证。评估流程分四步:理解智能体用途(运行并查看 trace);定义质量评分器(先列出实验已注册评分器,已注册的必须使用,再按需用 make_judge() 新增并注册);准备数据集(必须先用 scripts/list_datasets.py 发现已有数据集,仅在用户拒绝后才用 create_dataset_template.py 新建);执行评估(scripts/run_evaluation_template.py --module ... --entry-point ... 生成脚本后运行,再用 analyze_results.py 分析,输出 evaluation_report.md)。文档需经 https://mlflow.org/docs/latest/llms.txt 访问。
限制:文档与技能针对 Databricks 场景的 MLflow 评估工作流,具体要求以官方资料为准;部分环境配置、模型选择等细节需查阅其 references 文档,暂未在本资料中完整提供。