SuperAPI AI 工具集

evaluation-audit

通用与其它

查看项目

更新于 10-16 05:48

技能介绍

用途:对已构建的评估工具(eval、benchmark、harness、judge、评分变更)或某结果给出单一判定。launch、hold 用于工具使用之前;report、hold 用于结果影响决策或到达读者之前。需先声明所服务的决策及其范围,因为同一评估对试点合适、对全量活动未必。

判定含义:Launch 表示该工具可在指定范围承载指定决策,是判定而非授权;Report 表示该结果可以声明的强度影响决策或读者,并列出注意事项;Hold 表示至少一项主张不成立,或未验证且可能改变决策,表格须写明解除条件。

输出形式:以表格呈现,每行一项就绪主张,含主张、证据、判定、解除条件。行判定为 holds、fails 或 unverified;unverified 不等于 failed,需把缺陷与证据缺失区分开。

权限:审计对项目记录只读,设计文档、配置、用例集、标签、结果文件与活动记录保持不变。常驻层级内的低成本探针可无需请示运行,如少量用例端到端、少量用例的 oracle 与 null 运行、冒烟用例的模型检查;其输出不得进入项目结果记录,并注明所用修订版本。成本更高的探针(全量运行、逐用例模型审计、付费加速器、新一轮评审验证)列为解除条件并附一句预测,仅在请求时运行。审计期间绝不修复评估,修复须回到 evaluation-design 或工件所有者。

审计对象是当前修订版本的实际工件(runner 与 grader 代码、用例集与标签、judge 提示词与模型、环境、原始结果行),并记录每个所读修订。设计文档、PR 说明、README 或工作总结中“已就绪”等表述只提供待查主张,不是证据。

检查项按工件涉及范围选取,涵盖任务设计、运行框架、指标卫生、评分器、评审证据、可检测性、抽样轨迹、执行预算;评分变更另需确认 bug 存在、修复可消除、其他数值如何变动。发布模式额外要求可比较性标签、注意事项、来源与许可、中立表述及写作交接。发现按严重程度排序,先列使数字具误导性的问题,每条附带证据位置、影响原因与解除条件。未发现问题也是有效结果。