用途:在 Arize 平台上管理评估流程,包括创建/更新评估器、针对 span 或实验运行评估、管理任务与相关 CRUD。
主要能力:
- 模板评估器:以 {input}、{output}、{context}、{conversation} 等变量定义裁判提示词,可设分类标签及数值分数、AI 集成、裁判模型、调用参数(如 {"temperature": 0})、优化方向(MAXIMIZE/MINIMIZE)和数据粒度(span/trace/session)。评估器带版本,最近版本生效。
- 代码评估器:确定性、无需 LLM,需继承 CodeEvaluator 类并遵循严格的导入路径与 evaluate() 签名,否则运行会静默取消(0/0/0)。
- 任务:绑定项目(实时跨度)或数据集/实验,包含评估器列表、列映射、查询过滤(--query-filter)、连续评分与采样率(0–1)。多评估器任务按最高粒度拆分运行;评估器级 query_filter 当前被忽略。
使用方式:通过 ax 命令操作,例如用 ax spaces list 查空间、ax projects list 列项目、ax ai-integrations list 查集成,用 ax evaluators create-template-evaluator 创建评估器,用 ax tasks create-evaluation 创建任务,并用 ax tasks trigger-run 触发回填(可加 --max-spans 与 --wait)。凭证由 ax profiles 管理,不要读取 .env 或让用户在对话中粘贴密钥。
适用场景:对生产 trace 做幻觉、正确性、相关性等打分;对实验运行打分;trace 级评估智能体轨迹;session 级评估多轮对话质量。
限制:trace/session 聚合时列值逗号拼接并截断至 100K 字符;{conversation} 仅 session 粒度特殊处理,且需跨度带 attributes.session.id;评估索引异步构建可能滞后 1–2 小时,首次测试应把时间窗结束设到至少 2 小时前;过滤需用 attributes.openinference.span.kind,span_kind 不是列;任务不能直接针对数据集,需先建实验;若评估失败/取消或无分数,必须如实报告错误,不得伪造分数或手工评估。具体命令与参数细节以官方 CLI 参考为准,本资料未提供的内容暂未提供。