SuperAPI AI 工具集

iblai-agent-evals

智能体与模型

查看项目

更新于 10-15 22:16

技能介绍

用途:通过 API 衡量并改进智能体质量,构建评测数据集、运行实验、评分并导出结果。

主要能力:数据集与数据集条目的增删改查;条目可来自直接 JSON、CSV 上传或已有聊天轨迹(系统从轨迹中提取输入与智能体回复);实验运行(异步后台任务,逐条向智能体提问并记录回复);LLM-as-Judge 按自定义标准对整次运行评分(0–1);人工/数值/布尔/分类评分及可复用评分标准;结果导出 CSV。

使用方式:基础地址 https://api.iblai.app,每个请求带请求头 Authorization: Api-Token $IBLAI_API_KEY。路径变量 {org}=$IBLAI_ORG、{username}=$IBLAI_USERNAME,根路径为 …/dm/api/ai-agent/orgs/{org}/users/{username}/evaluations/。未连接时先运行 /iblai-login 以填充 IBLAI_ORG、IBLAI_USERNAME、IBLAI_API_KEY。典型流程:创建数据集 → 添加条目 → 启动运行(异步)→ 评分(LLM-as-Judge 和/或人工)→ 导出 CSV。启动运行示例:curl -X POST "https://api.iblai.app/dm/api/ai-agent/orgs/$IBLAI_ORG/users/$IBLAI_USERNAME/evaluations/datasets/support-qa/runs/" -H "Authorization: Api-Token $IBLAI_API_KEY" -H "Content-Type: application/json" -d '{"run_name": "baseline-2026-06", "mentor": "d17dc729-60fd-4363-81a0-f67d9318b03e"}'。

限制:实验运行为异步,POST 返回后需轮询运行详情,待回复记录完成后再调用 evaluate/ 或 export/;删除条目、删除运行、删除评分均为破坏性操作,需先与用户确认。