SuperAPI AI 工具集

evaluation-design

测试与质量

查看项目

更新于 10-15 21:52

技能介绍

用途:为一个 LLM 系统或模型设计评测,或改变评测要测量的内容。产出的是「测量契约」——说明该评测支持哪个决策、揭示哪些行为与失败模式、在哪些用例上测、由哪些检查评分、在什么条件下运行、分辨率如何。若用户要求构建,还可在项目的 runner 中实现实际测量工具。

主要能力:

  • 先确定决策与最小决策相关差异,据此定规模;无法指明决策或差异时记为探索性评测,数字只描述行为,不用于把关。
  • 明确被评分的单元(用例、试验、回合、对话、任务完成)并计数;任务成功、策略合规、质量、成本、延迟分开报告。
  • 先读真实输出再定失败类别,把分类法或既有基准的类别视为假设,区分「已观察」与「仅提出」。
  • 用例集双向覆盖(该做与不该做的情形),每题给可观察的成功条件与能通过评分的参考解;按泛化单元切分数据,保留标注分歧。
  • 能由规则判定的失败模式优先用代码检查(解析、schema、匹配、执行、状态查询),其余用模型评委;默认每个失败模式一个二元评委,明确通过与失败定义。
  • 固定并记录所有影响结论的比较条件:请求与实际服务的模型版本、提示、工具与脚手架、解码设置、轮次/token/时间预算、成本与延迟的测量方式。
  • 构建时在项目 runner 中实现用例、检查、评委与聚合,并用 oracle、null 及边界/无效/缺失输出跑通完整评分路径。
  • 产出测量契约,在审计前标注为「提案:未经 evaluation-audit 检查」。

使用方式:设计请求返回提案;写用例、标签、评委或 runner 代码需用户明确请求;超出常开档或项目预算的支出须先说明。使用项目已有的 runner、记录与 schema,不新建 harness 或追踪框架。若请求实为修 runner、状态问题或对既有评测下结论,应转交相应负责方。对抗性评测与相关运行核算分别参见 adversarial evaluation design 与 evaluation-operations。

限制:本技能不为自己认证,启动、搁置或信任的结论属于 evaluation-audit;大用例集、可运行 runner 或自洽评委本身不构成可靠测量;模型生成的标签与用例在完成所需评审前仅算候选;本资料未提供具体价格、平台支持或安装命令。