用途:保持评估数据集新鲜,并对智能体(agent)回复质量进行路由评估与质量检查。
主要能力:从 Front 拉取数据构建评估数据集(支持按时间、应用、是否含历史、是否仅已标注筛选),转换为 evalite 格式,运行路由评估并支持自定义阈值与 JSON 输出,以及列出/导出按评分筛选的回复。
使用方式:进入 CLI 目录后执行 bun 命令。构建数据集:bun src/index.ts dataset build --since 2025-01-01 --limit 200 --output data/eval-dataset.json;转换格式:bun src/index.ts dataset to-evalite -i data/eval-dataset.json -o data/evalite-format.json;路由评估:bun src/index.ts eval routing data/eval-dataset.json,可加 --min-precision、--min-recall、--max-fp-rate、--max-fn-rate、--json;回复分析:bun src/index.ts responses list --rating bad、responses get <actionId> --context、responses export --rating bad -o bad-responses.json。
数据集字段包括 id、app、conversationId、customerEmail、triggerMessage、agentResponse、label、labeledBy 及可选的 conversationHistory。
限制:需在 .env.local 配置 FRONT_API_TOKEN 与 DATABASE_URL;Front API 有速率限制,构建慢时用 --limit 控制批量;标签来自人工审核(HITL)的批准/拒绝,新回复默认无标签。