SuperAPI AI 工具集

creating-eval-scenarios

测试与质量

查看项目

更新于 10-15 22:16

技能介绍

用途:为 Tessl tile 生成评估场景,衡量智能体是否遵循技能中的指令。

前置条件:技能必须先打包为 Tessl tile(含 tile.json 与技能文件夹的目录),否则先用 converting-skill-to-tessl-tile 技能转换;未指定位置时询问用户。若一个 tile 含多个技能,应先按技能拆分为多个 tile。

主要能力:从技能中整理指令清单,生成可行与不可行的场景摘要,并创建每个场景所需文件。开始前需阅读 references/scenario-generation.md,按其流程研究 tile 并生成正确格式的预期文件。

输出结构:tile 下的 evals 目录包含 instructions.json(技能中全部指令的列表)、summary.json(可行场景)、summary_infeasible.json(不可行能力,无对应文件夹),以及按 scenario-N 命名的子目录,内含 task.md(目标描述,可内联输入)、criteria.json(评分标准,须合计为 100)和 capability.txt(单行,被测能力)。

评估约束:一次性、基于文件。不预装专有软件、不提供 API key 或额外文件;智能体接收任务后在自身工作目录产出文件;评分者只审查智能体创建的文件(源码、输出等),不观察执行过程,也不进行交互式往返。场景耗时过长或结束时磁盘残留大文件会导致超时。若能力在此沙箱中无法运行,应标记为不可行。

运行评估:准备就绪后可在 tessl 平台触发评估,使用 tessl eval run <path/to/tile>、tessl eval view-status <status_id> --json、tessl eval list。