SuperAPI AI 工具集

review-model-performance

智能体与模型

查看项目

更新于 10-15 22:16

技能介绍

用途:在多个 Claude 模型上运行任务评测(task evals),并排比较同一技能在不同模型上的表现,判断技能是否真正带来提升。

主要能力:默认测试 claude-haiku-4-5(快/便宜)、claude-sonnet-4-6(默认)、claude-opus-4-6(最强)。流程包括:定位 tile(查找 tile.json,排除 .tessl/ 缓存目录)、确认评测场景(evals/*/task.md)、验证登录(tessl whoami)、确认模型与运行次数、逐模型顺序运行评测、轮询完成状态、收集并比较结果、诊断解读、给出下一步建议。

必要用法:评测命令为 tessl eval run <path/to/tile> --agent=claude:<model> [--runs=<n>];查看结果用 tessl eval view <id>;失败重试用 tessl eval retry <id>;生成场景可用 tessl scenario generate <path/to/tile> --count=3 与 tessl scenario download --last;发布用 tessl tile publish;改进可安装 tessl install tessl-labs/eval-improve。运行需先 tessl login。

结果呈现:输出总体对比表(Without Skill / With Skill / Delta)、按场景分解、按标准分解(✅≥80%、🟡≥50%、🔴<50%),并区分通用失败、能力梯度、单模型异常、回归等模式。

适用场景:评估技能在模型间的效果差异、发布前验证、定位需改进的指令。

限制:需已登录且存在打包好的 tile 与评测场景;不要在 .tessl/tiles/ 缓存目录内运行评测;不要并行运行,需顺序执行并记录 run ID;每个场景每模型约 10–15 分钟,N 个场景 3 个模型约 N×30–45 分钟;场景生成约每场景 1–2 分钟;建议发布前用 --runs=3 降低方差。其他细节暂未提供。