用途:面向 MLflow 3 的 GenAI 智能体评估,指导编写 mlflow.genai.evaluate() 代码、创建 @scorer 函数、使用内置评分器(Guidelines、Correctness 等),并支持数据集构建、生产轨迹分析、性能优化、回归检测、Unity Catalog 轨迹接入与生产监控、MemAlign 裁判对齐以及 GEPA 提示优化。
主要能力与工作流:提供八类端到端流程,包括首次评估搭建、生产轨迹转评估数据集、性能优化、回归检测、自定义评分器开发、Unity Catalog 轨迹接入与生产监控、基于 MemAlign 的裁判对齐、基于 GEPA 的自动提示优化。每个流程分步给出需阅读的参考文件,如 GOTCHAS.md、CRITICAL-interfaces.md、patterns-evaluation.md、patterns-scorers.md、patterns-datasets.md、patterns-trace-analysis.md、patterns-context-optimization.md、patterns-trace-ingestion.md、patterns-judge-alignment.md、patterns-prompt-optimization.md、user-journeys.md。
关键用法要点:使用 mlflow.genai.evaluate(),而非 mlflow.evaluate();数据格式需为嵌套结构 {"inputs": {"query": "..."}};predict_fn 接收解包后的 kwargs。MemAlign 与评分器无关,但因嵌入模型 token 开销大,应显式设置 embedding_model。标注会话中的标签模式名称必须与 evaluate() 中的裁判名称匹配,align() 才能配对分数。已对齐裁判的分数可能低于未对齐裁判,属预期现象。GEPA 优化数据集每条记录需同时包含 inputs 与 expectations。optimize_prompts 需要 MLflow >= 3.5.0。
适用场景:新智能体评估搭建、从生产轨迹构建评估集、调试慢或昂贵的智能体、比较版本发现回归、开发项目专用指标、在 Unity Catalog 存储轨迹并持续监控、将 LLM 裁判对齐领域专家偏好、自动改进已注册系统提示。
限制:资料未提供安装命令、具体代码示例、收费或价格信息,也未说明支持平台范围;相关内容暂未提供。