SuperAPI AI 工具集

eval

智能体与模型

查看项目

更新于 10-15 22:17

技能介绍

用途:为 AI 提示词、LLM 调用、多模型对比及核心函数建立最小化评测基准,运行生产代码并输出到同目录 eval.md,供外部强模型或人工阅读真实输出后判断质量,而非由评测自动宣布胜出。

主要能力:直接导入生产函数、提示词常量与 schema,避免在 eval.ts 中重复提示词导致漂移;真实执行每个候选模型以采集延迟、token 与成本,不做估算;状态列仅表示执行正确性与 Zod schema 合规,不代表质量;汇总表只放机器可测的客观指标(延迟、输入/输出 token、成本、通过/失败),原始输出逐字呈现供独立判断;统一输出约束以保证公平比较;按 API 元数据计算含推理 token 的真实计费成本;支持默认只跑生产模型、--matrix 跑全部候选、--models=a,b 跑子集;结果写入 path.join(__dirname, 'eval.md'),便于 git diff 与编辑器渲染;终端输出进度,成功前缀 ✅、失败前缀 ❌,并打印最终路径。

使用方式:运行现有评测用 bun path/to/eval.ts(仅生产模型)、bun path/to/eval.ts --matrix(全部候选)或 bun path/to/eval.ts --models=model-a,model-b(指定模型)。新建评测时,若目标模块已有 eval.ts 则编辑其中的 TEST_CASES / CANDIDATE_MODELS;否则按目标类型选择模式:AI/LLM 功能用 Pattern A,需要自动质量评分用 Pattern B(独立裁判模型,不得与生成模型相同),同步/异步工具函数用 Pattern C。每个功能只保留一个 eval.ts,不拆分 eval.matrix.ts。

适用场景:多模型对比、提示词迭代、函数正确性与吞吐量评测。

限制:资料未提供具体安装步骤、依赖版本、支持的模型清单、价格数据或平台要求;评测质量判断依赖外部强模型或人工,不应使用生成模型的自评分。