SuperAPI AI 工具集

iblai-api-agent-eval

编程与开发

查看项目

更新于 10-15 22:16

技能介绍

用途:通过 iblai 平台 API 建立评测数据集、运行实验并给智能体打分,以测量和改进智能体质量,也可用于用数据集测试智能体并对结果评级。

认证与约定:基址 https://api.iblai.app,每个请求都要带 Authorization: Api-Token $IBLAI_API_KEY。路径变量 {org}=$IBLAI_ORG、{username}=$IBLAI_USERNAME,根路径为 …/dm/api/ai-mentor/orgs/{org}/users/{username}/evaluations/。未连接时先运行 /iblai-api-login 填充这三个变量。列表接口支持 ?page= 与 ?limit=(默认 50,上限 200)。

主要能力:数据集与条目支持直接 JSON(items)、CSV 上传、或从已有聊天 trace 播种(trace_ids);实验运行会异步把每条数据集条目发给指定 mentor_unique_id 的智能体并记录回复;LLM-as-Judge 按自由文本 criteria 自动给已完成运行的每条结果打分;scores 支持人工的数值/布尔/分类标注并可引用 score-configs 中的可复用评分标准;运行结果可通过 export 导出 CSV。

必要用法:典型流程为建数据集→加条目→启动运行(POST …/runs/,返回 202 后需轮询至 completed)→评分→导出。LLM-as-Judge 需在运行 completed 后调用,参数含必填 criteria、score_name,以及 llm_provider、llm_name、max_concurrency。删除条目、运行、评分为异步排队(202),且为破坏性操作。

限制:评测数据集与智能体的 RAG 知识数据集不同,不可混用;数据按组织隔离,仅 $IBLAI_ORG 可读写;运行与判定均为后台任务,需先轮询到完成状态;数据集本身没有更新或删除接口。其余限制资料暂未提供。