SuperAPI AI 工具集

evaluation-audit

通用与其它

查看项目

更新于 10-16 05:48

技能介绍

用途:对评测工具(eval、benchmark、harness、judge、评分变更)或结果给出单一结论。launch 与 hold 适用于工具使用前;report 与 hold 适用于结果影响决策或到达读者前。launch 表示该工具能在指定范围内承载指定决策,是结论而非授权;report 表示结果可在所述强度与注意事项下影响决策;hold 表示至少一项声明失败,或存在可能改变决策的未验证项,并列出清除条件。

主要能力:先声明决策及其范围(试点、完整活动、合并、内部决策、客户报告),再以表格逐行给出就绪声明、证据、结论与清除条件。行结论为 holds、fails 或 unverified;unverified 不等于 failed。审计对项目记录只读,设计文档、配置、用例集、标签、结果文件与活动记录保持原样。

使用方式:先读当前修订版的实际产物(runner 与 grader 代码、用例集与标签、judge 提示与模型、环境、原始结果行),记录每个修订版;设计文档、PR 描述、README 或总结只提供待核查声明,不是证据。在任何其他检查前,先端到端跑少量用例,或找到当前修订版产出的结果文件;当前修订版无法运行即为首个发现,结论为 hold。检查覆盖任务设计、harness、指标卫生、grader、judge 证据、可检测性、抽样轨迹、执行预算;面向客户或外部读者的 release 模式还需可比性标签、注意事项、来源与许可、中性表述及写作交接。评分变更需确认缺陷存在、修复有效、其他数字如何变动。

限制:审计期间不得修复被测对象,修复应作为清除条件交回 evaluation-design 或产物所有者。低成本探针可在常开层内进行,输出不得进入项目结果记录;高成本探针仅在请求时运行。资料未提供具体命令、安装方式、收费与平台信息。