SuperAPI AI 工具集

evaluation-design

测试与质量

查看项目

更新于 10-15 21:52

技能介绍

用途:为 LLM 系统或模型设计评测,或调整评测所测量的内容。核心产出是一份“测量契约”提案,说明该评测服务于哪个决策、揭示哪些行为与失败模式、覆盖哪些用例、由哪些检查评分、在何种条件下、以何种分辨率进行。若请求包含构建,则在项目既有 runner 中实现该测量工具。

主要能力:先读被测系统的真实输出,再确定失败类别;用例集需双向覆盖(应做与不应做),每个用例给出可观察的成功条件和能通过评分的参考解;按泛化单元切分数据,调优用例与报告用例分开;标签与模型生成用例在经必要复核前视为候选,并保留分歧。优先用代码检查(解析、schema、字符串或值匹配、执行、状态查询),仅对解释性剩余部分使用模型裁判;默认每个失败模式一个二元裁判,明确通过/失败定义,严重度用多个二元裁判表达。固定并记录比较条件:模型版本、提示、工具与脚手架、解码设置、执行预算(轮次、token、墙钟时间)、成本与延迟。

使用方式:设计请求返回提案;编写用例、标签、裁判或 runner 代码需在请求中说明。使用项目既有 runner、记录与 schema,不新建 harness 或追踪框架。超出常开层级的开销或项目预算需先说明,并用一句话预测结果。构建时在完整流水线中跑 oracle(应通过)与 null(应失败),并用手工边界、无效、缺失输出走真实评分路径,保留原始输出。

限制:用例集大、runner 可运行或裁判自洽本身不构成可靠测量;设计者不认证自己的工作,发布、暂停或信任结论属于 evaluation-audit。若请求实为 runner 修复、状态问题或对既有评测的裁决,应转交其归属方。对抗性评测与运行核算分别属于其他技能。契约在审计前须标注“Proposal: not checked by evaluation-audit”。