用途:面向 MLflow 3 的 GenAI 智能体评估,帮助开发者编写评估代码、创建评分函数并分析追踪数据。
主要能力:覆盖评估数据集构建、内置与自定义评估指标(scorer)、评估运行与版本对比、追踪(trace)分析、上下文与 token/延迟优化,以及 Unity Catalog 追踪存储与生产监控。内置评分器包括 Guidelines、Correctness 等。
使用方式:资料给出 6 个工作流——首次评估搭建、从生产追踪构建数据集、性能优化、回归检测、自定义评分器开发、Unity Catalog 追踪摄入与生产监控。每步对应不同参考文件,例如 GOTCHAS.md、CRITICAL-interfaces.md、patterns-datasets.md、patterns-scorers.md、patterns-evaluation.md、patterns-trace-analysis.md、patterns-context-optimization.md、patterns-trace-ingestion.md、user-journeys.md。写代码前应先读 GOTCHAS.md 与 CRITICAL-interfaces.md。
关键 API 事实:使用 mlflow.genai.evaluate()(而非 mlflow.evaluate());数据格式为 {"inputs": {"query": "..."}} 嵌套结构;predict_fn 接收解包后的关键字参数而非字典。
适用场景:智能体首次评估、基于生产追踪建数据集、性能与成本排查、版本回归检测、自定义评估指标开发、追踪存储与持续监控。
限制:本技能是参考指引集合,不包含具体安装命令与运行指令;各参考文件内容、支持的平台版本及收费信息暂未提供。