用途:为 Databricks GenAI 智能体搭建生产级评估流程,核心入口是 MLflow 3.0+ 的 mlflow.genai.evaluate(),配合 LLM-as-judge 评分器与自定义评估指标。
主要能力:实现智能体评估流水线、创建领域自定义评分器、构建评估数据集、部署前阈值校验、排查评估报错(如 0.0 分、指标名不匹配)、优化评分准则、程序化查询评估结果、用 MemAlign 将判官与领域专家反馈对齐、用 GEPA 的 optimize_prompts() 自动优化提示词、为生产监控配置 Unity Catalog trace 接入。
必要用法与关键事实:使用 mlflow.genai.evaluate(),不要用 mlflow.evaluate();数据格式为 {"inputs": {"query": "..."}} 的嵌套结构。所有自定义评分器必须包含 _extract_response_text() 辅助函数,否则会静默返回 0.0 分;自定义评分器中的 LLM 调用应使用 Databricks SDK,而非 langchain_databricks。准则建议保持 4-6 个关键分节,过多会压低分数。评分器应使用 @mlflow.trace 和 @scorer 装饰器并返回 Score 对象。GEPA 优化数据集每条记录需同时具备 inputs 与 expectations,optimize_prompts() 需要 MLflow >= 3.5.0。make_judge() 仅允许 {{ inputs }}、{{ outputs }}、{{ trace }}、{{ expectations }}、{{ conversation }} 五个模板变量。predict_fn 的参数签名需与 inputs 字典键名匹配。内置评分器指标名跨版本不同(如 relevance/mean 与 relevance_to_query/mean),需用 METRIC_ALIASES 处理并在部署前调用 check_thresholds()。
适用场景:智能体评估流水线、自定义领域评分、评估数据集配置、生产部署前门槛检查及生产监控。
限制:具体数据集结构、阈值数值、完整辅助函数代码及运行环境配置等细节,资料中暂未完整提供。