SuperAPI AI 工具集

iblai-vibe-agent-evals

智能体与模型

查看项目

更新于 10-15 22:16

技能介绍

用途:在 Next.js 应用中挂载 AgentEvaluationTab,为智能体提供评测标签页,通过基准测试(一组测试问题)运行智能体并为每个回答打分,以便发现薄弱点并跟踪改进。

主要能力:一个组件整合多个界面,包括基准选择器、带状态徽章和逐行操作菜单(查看结果、新建评审、检查状态、导出 CSV、删除)的评测表、新建评测对话框、内嵌的基准管理对话框(可手动或 CSV 上传添加问答对)、展示每条 trace 及其分数与 LLM-as-Judge 评审的结果弹窗、带 LLM 提供商/模型选择器的评测弹窗。评测仅限管理员,学习者(userIsStudent)即使深链也不渲染。

使用方式:需先完成认证并配置 MCP 服务器与技能,且 AgentSettingsProvider 必须包裹路由,并需提供真实的 mentorId。安装后可如下挂载:

// app/(app)/agents/[mentorId]/evals/page.tsx "use client"; import { AgentEvaluationTab } from "@iblai/iblai-js/web-containers/next"; export default function AgentEvalsPage() { return <AgentEvaluationTab />; }

支持 labels 覆盖文案、PaginationComponent 自定义分页、userIsStudent 覆盖。环境需检查 iblai.env 中的 PLATFORM、DOMAIN、TOKEN。

限制:评测在后台运行,未完成前查看结果、新建评审和导出 CSV 不可用;人工分数为 0-1 之间数值;CSV 需 UTF-8、必填 input 列、可选 expected_output 列,最大 10 MB / 10,000 行,空白问题行会被跳过;首次需先在基准管理中创建基准,否则“新建评估”保持禁用;基准是组织范围,运行按智能体隔离。