SuperAPI AI 工具集

iblai-api-agent-eval

编程与开发

查看项目

更新于 10-15 22:16

技能介绍

用途:通过 iblai 平台 API 对智能体进行质量评测。构建评测数据集(输入+期望输出),对数据集逐条运行智能体,再用 LLM-as-Judge 或人工评分,最后导出 CSV。

主要能力:管理评测数据集与条目(JSON、CSV 上传或从聊天 trace 生成);启动实验运行(异步,对每条数据调用指定 mentor_unique_id 的智能体);LLM-as-Judge 按自由文本评分标准自动打分;人工/数值/布尔/分类评分及可复用评分配置;结果导出 CSV。

使用方式:基础地址 https://api.iblai.app,每个请求带 Authorization: Api-Token $IBLAI_API_KEY。路径根为 …/dm/api/ai-mentor/orgs/{org}/users/{username}/evaluations/,其中 {org}=$IBLAI_ORG,{username}=$IBLAI_USERNAME。未连接时先运行 /iblai-api-login。典型流程:创建数据集 → 添加条目 → 启动运行(异步)→ 轮询至 completed → 评分 → 导出 CSV。列表接口支持 ?page= 与 ?limit=(默认 50,最大 200)。

适用场景:需要以数据集方式回归测试智能体回答质量、对比不同版本、并保留可导出评分记录的团队。

限制:评测数据集与智能体的 RAG 知识数据集不同,不可混用;数据仅限本组织可见。运行与评判为异步任务,POST 返回 202,需轮询状态,运行完成后才能评判或导出。删除条目、运行、评分均为排队异步(202),且数据集本身无更新或删除接口。评分标准、模型等参数以资料所列字段为准,其余细节暂未提供。