用途:指导使用 MLflow 3 进行生成式 AI 智能体评估,适用于编写 mlflow.genai.evaluate() 代码、创建 @scorer 函数、使用内置评分器(Guidelines、Correctness 等)以及构建评估数据集、分析追踪、优化性能等场景。编码前应先阅读 GOTCHAS.md(常见错误)与 CRITICAL-interfaces.md(API 签名与数据模式)。
主要能力与工作流:
- 首次评估设置:明确评估目标、学习 API 模式、构建数据集、选择/创建评分器、运行评估。
- 从生产追踪生成评估数据集:搜索过滤追踪、分析质量、打标签、构建数据集、补充 ground truth。
- 性能优化:按 span 分析延迟、分析 token 用量、检测上下文问题并优化、重新评估。
- 回归检测:建立基线、运行当前版本、对比指标、分析失败追踪并调试。
- 自定义评分器开发:理解评分器接口、选择模式、多智能体评分器、通过评估测试。
- Unity Catalog 追踪接入与生产监控:关联 UC schema、设置追踪目标、埋点、配置追踪来源(Apps/Serving/OTEL)、启用监控、查询分析。
- 使用 MemAlign 对齐评判器:用 make_judge 设计基础评判器、运行评估并标记追踪、构建 UC 数据集与 SME 标注会话、标注后对齐、注册对齐评判器、重新评估。
- 使用 GEPA 自动提示优化:构建含 inputs 与 expectations 的优化数据集、运行 optimize_prompts()、注册新版本并按条件提升。
关键 API 事实:使用 mlflow.genai.evaluate()(而非 mlflow.evaluate());数据格式为 {"inputs": {"query": "..."}}(需嵌套);predict_fn 接收解包后的 kwargs(非字典);MemAlign 与评分器无关,支持 float、bool、分类等 feedback_value_type,但嵌入模型 token 开销大,应显式设置 embedding_model;标注会话中的标签 schema 名称必须与 evaluate() 使用的评判器名称一致,align() 才能配对分数;对齐后评判器分数可能低于未对齐版本,属正常,表示更准确;GEPA 优化数据集每条记录必须同时含 inputs 与 expectations(与评估数据集不同);情景记忆为惰性加载,首次使用前 get_scorer() 打印结果不会显示;optimize_prompts 需要 MLflow >= 3.5.0。
限制:资料以引用文件与工作流表格为主,具体代码示例、收费信息、平台支持范围等暂未提供;应结合 GOTCHAS.md、CRITICAL-interfaces.md 及各 patterns 文件查阅细节。