SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场databricks-mlflow-evaluation

databricks-mlflow-evaluation

智能体与模型

查看项目

更新于 10-15 09:09

技能介绍

用途

本技能面向 MLflow 3 的 GenAI 智能体评估，在通用 MLflow GenAI 评估工作流之上叠加 Databricks 专属模式。通用部分（mlflow.genai.evaluate() 调用、评分器编写、数据集创建、MLflow 追踪设置、五步评估循环）由上游 mlflow/skills 仓库的 agent-evaluation 技能覆盖；本技能专注于 Databricks 特有场景。

主要能力

  • Unity Catalog 追踪摄取：将生产追踪写入 UC 表，实现基于日志的监控（patterns-trace-ingestion.md）。
  • MemAlign 评审对齐：通过 UC 领域专家标注会话，将自定义评审器与专家反馈对齐（patterns-judge-alignment.md）。
  • optimize_prompts() GEPA 循环：在 UC 数据集上运行 Databricks 自动提示优化驱动（patterns-prompt-optimization.md）。
  • Databricks 风格评分器/数据集模式：UC 表支撑的数据集、在 Databricks UI 中为追踪打标签以纳入评估（patterns-datasets.md、patterns-scorers.md）。

使用方式

编写任何代码前，先阅读 GOTCHAS.md（15+ 常见错误）与 CRITICAL-interfaces.md（精确 API 签名与数据模式）。随后按目标选择工作流：

  1. 首次评估设置：理解评估对象 → 学习 API 模式 → 构建初始数据集 → 选择/创建评分器 → 运行评估。
  2. 生产追踪转评估数据集：搜索过滤追踪 → 分析追踪质量 → 打标签纳入 → 从追踪构建数据集 → 添加期望/真值。
  3. 性能优化：按 span 分析延迟 → 分析 token 用量 → 检测上下文问题 → 应用优化 → 重新评估衡量影响。
  4. 回归检测：建立基线 → 运行当前版本 → 比较指标 → 分析失败追踪 → 调试具体失败。
  5. 自定义评分器开发：理解评分器接口 → 选择评分器模式 → 多智能体评分器 → 用评估测试。
  6. Unity Catalog 追踪摄取与生产监控：将 UC schema 关联到实验 → 设置追踪目标 → 插桩应用 → 配置追踪来源（Apps/Serving/OTEL）→ 启用生产监控 → 查询分析 UC 追踪。
  7. 使用 MemAlign 对齐评审器：用 make_judge 设计基础评审器 → 运行 evaluate() 并标记成功追踪 → 构建 UC 数据集并创建 SME 标注会话 → 标注完成后用 MemAlign 对齐 → 注册对齐评审器到实验 → 用对齐评审器重新评估（基线）。
  8. 使用 GEPA 自动提示优化：构建优化数据集（输入+期望）→ 用 GEPA + 评分器运行 optimize_prompts() → 注册新版本并按条件提升。

关键 API 事实

  • 使用 mlflow.genai.evaluate()（不是 mlflow.evaluate()）。
  • 数据格式：{"inputs": {"query": "..."}}（需要嵌套结构）。
  • predict_fn：接收 **解包后的 kwargs（不是 dict）。
  • MemAlign：与评分器无关（适用于任何 feedback_value_type——float、bool、分类）；在嵌入模型上 token 消耗大，需显式设置 embedding_model。
  • 标签 schema 名称匹配：标注会话中的标签 schema 名称必须与 evaluate() 中使用的评审器名称一致，align() 才能配对分数。
  • 对齐后的评审器分数：可能低于未对齐评审器分数——这是预期现象，表示评审器现在更准确，而非智能体退化。
  • GEPA 优化数据集：每条记录必须同时包含 inputs 和 expectations（与评估数据集不同）。
  • 情景记忆：惰性加载——get_scorer() 结果在评审器首次使用前打印时不会显示情景记忆。
  • optimize_prompts：需要 MLflow >= 3.5.0。
  • UC 模型服务评审器模型：databricks:/system.ai.<model> 评审器/评分器 URI 需要版本下限，可能遇到 404（旧客户端）或 403（旧端点名称）——详见 GOTCHAS.md 的“Custom Judge Model Format”。

适用场景

适用于在 Databricks 平台上进行 MLflow 3 GenAI 智能体评估、构建评估数据集、开发自定义评分器、对齐 LLM 评审器、自动优化提示词、以及设置生产追踪监控的场景。

限制

通用 MLflow GenAI 评估工作流（非 Databricks 专属）应参考上游 mlflow/skills/agent-evaluation 技能。本技能的具体实现细节、代码示例与完整错误列表需查阅其参考文件（GOTCHAS.md、CRITICAL-interfaces.md 及各 patterns-*.md）。