SuperAPI AI 工具集

arize-evaluator

智能体与模型

查看项目

更新于 10-15 21:52

技能介绍

用途:本技能在 Arize 上处理 LLM-as-judge 评估流程,包括设计、创建、版本化评估器(evaluator),以及创建任务(task)对真实数据运行评估。评估器定义“评委”,任务定义如何对实际数据执行它。

主要能力:创建/更新/删除评估器及其不可变版本;配置评委提示模板(含 {variable} 占位符)、分类选项与数值分、AI 集成凭据、评委模型、调用参数、优化方向;支持 span(默认)、trace、session 三种数据粒度;任务支持项目(实时 span,可连续、可设采样率)与数据集/实验;支持查询过滤、列映射、多评估器、触发运行与监控、取消运行。session 粒度下有特殊变量 {conversation}。

使用方式:通过 ax 命令行操作。先用 ax spaces list 获取空间;用 ax ai-integrations list --space SPACE 检查或创建 LLM 凭据(如 ax ai-integrations create --name ... --provider openAI --api-key $OPENAI_API_KEY);用 ax evaluators create 创建评估器(关键参数 --name、--space、--template-name、--commit-message、--ai-integration-id、--model-name、--template、--classification-choices),用 ax evaluators create-version 发布新版本;用 ax tasks create 创建任务(--task-type template_evaluation、--project 或 --dataset、--evaluators JSON、--is-continuous/--no-continuous、--sampling-rate),用 ax tasks trigger-run 触发(项目用 --data-start-time/--data-end-time,实验用 --experiment-ids,可加 --wait)。建议先做小规模回填验证再开启连续评估。

限制与注意:不要预先检查版本、环境变量或 profile,直接运行 ax 命令,出错按提示排查(命令缺失见 ax-setup、401 见 ax-profiles、空间未知用 ax spaces list、LLM 调用失败检查集成)。永远不要读取 .env 或搜索文件系统找凭据,只用 ax profiles 与 ax ai-integrations。严禁编造评估结果:任务失败、取消或无分数时,应如实报告并建议修复重试、改用 Arize UI、核对集成凭据或联系支持。时间格式如 2026-03-21T09:00:00,不要带尾部 Z;span 索引滞后 1–2 小时,窗口宜取至少 2 小时前的数据。

适用场景:为项目或实验创建幻觉、正确性、相关性等评估,做历史回填、连续监控、轨迹与多轮会话质量评估。

资料未提供:具体定价、平台可用性范围等信息暂未提供。