SuperAPI AI 工具集

eval-validity-review

通用与其它

查看项目

更新于 10-16 06:15

技能介绍

用途:评估一个评测是否测量了它声称要测量的内容,属于对评测本身的元审查。

主要能力:检查四个维度。声明一致性:评测关于数据、机制、能力和结果的声明是否经得起推敲;名称有效性:名称是否准确代表所测能力;数据集有效性:在可用条件下模型能否在每个样本上既成功又失败;评分有效性:评分器测量的是真实结果还是代理指标。第一维度是高层直觉检查,应在深入其余三项机械细节前完成。

使用方式:审查为只读,产出含发现与建议的报告,不修改评测代码。先确定评测名称(src/inspect_evals/ 下的文件夹名),从 @task 函数的 version 参数确定任务版本,组合为 <eval_name>_<version>;若 agent_artefacts/ 下已存在同名文件夹则追加数字。创建输出目录 agent_artefacts/<artefact_name>/validity/,所有 .md 文件放入其中,并创建 NOTES.md 记录观察。随后依次进行:收集上下文(任务定义、数据集与样本、评分器、README 与 eval.yaml、沙箱环境、数据集质量信号);评估整体一致性(收集可验证声明并逐条核对代码与数据);评估名称有效性;评估数据集有效性。

适用场景:审查 Inspect 评测(inspect_evals)的有效性,尤其适合发现虚构数据来源、虚假机制声明、名称夸大、样本无法成功或失败等问题。

限制:只读,不修改代码;阶段为指南而非固定清单,需自行判断;若无法确定审查哪个评测应询问用户;资料未提供具体命令、安装方式、收费或平台信息。