SuperAPI AI 工具集

eval-integrity

智能体与模型

查看项目

更新于 10-15 20:27

技能介绍

用途:eval-integrity 是面向 LLM 评测与基准仓库的用户可调用审计器,用于在提交资助、会议或公开排行榜前,检查基准是否具备让公布分数可信的完整性支撑。它只做静态审计,报告问题并提供修复建议,绝不编辑基准、重跑评测或改动排行榜。

主要能力:按七个维度并行审计——预注册(语料哈希、评判面板、种子、温度是否在结果产生前固定)、污染(语料作者及其模型家族是否被排除、是否记录逐场景作者、是否有私有留出集及公开与留出差距)、留出集卫生(内容是否可能经 CI 日志、工作流产物、提交的转录或错误信息泄漏)、评判有效性(评判模型是否与实际服务模型一致、是否报告多评判一致性、是否控制家族冲突与长度偏差)、统计诚实(头条数字是否带置信区间、微/宏聚合是否说明、pass@k 与 pass^k 是否区分、种子是否固定)、可复现性(确定性重跑路径、成本上限/续跑、环境固定)、排行榜排除与发布机制(空代理基线、留出集行、非默认配置是否被排除,且由触发测试强制)。

使用方式:调用时传入基准仓库路径(为空则用当前目录)。先确认仓库可评分并定位评分入口、结果目录、方法/治理文档,记录绝对路径、分支与 HEAD SHA、开放 PR。随后按维度并行派生子代理,每个子代理依据 patterns/dimension-prompts.md 中的审计简报运行,返回 PRESENT/PARTIAL/ABSENT 评级并附 file:line 证据。若环境无子代理工具,则按维度顺序内联执行,并在报告中注明为单审计员顺序审计。

适用场景:提交基准前、有人质疑数字可信度时、发布首个头条结果前、基准持续累积模型时。不适用于非评测仓库,或没有公布数字且无意公布的小型玩具评测。

限制:评级必须有证据,仅 grep 未命中不足以判定 ABSENT,需按概念搜索评分入口、CI 工作流和文档。严重度分 INVALIDATING(可导致公布数字被否定)与 HARDENING(削弱可信度但不直接否定数字)。报告先列无效性缺口,再列加固缺口,最后列优点;每个缺口须给出具体修复,而非泛泛建议。审计为只读,修复需作者逐项批准。具体安装命令、价格与平台支持暂未提供。