SuperAPI AI 工具集

llm-evals-audit

智能体与模型

查看项目

更新于 10-16 06:22

技能介绍

用途:检查已有 LLM 评估是否可信、是否对准真实失败模式,避免评估通过但产品仍出问题。作为元技能,可在任意阶段运行,最适用于首次搭建评估后,或分数正常但产品体验异常时。

主要能力:以代码智能体方式运行,先在代码库与项目文件中查找评估产物,包括评判提示、评估配置、标注数据、问题报告、对齐结果、黄金数据集及上下文文件。随后按六个领域做诊断:评估来源(是否基于真实标注失败、是否单一维度)、评估类型适配(该用规则处是否误用 LLM 评判、规则是否被当作质量代理)、评判提示质量(是否有具体通过/失败定义、真实示例、要求给出理由)、评判对齐(是否用人工标注验证、是否达到 80% MCC 阈值)、标注健康度(每个评估的标注数量是否足够、是否含理由)、回归卫生(是否有黄金数据集、重大变更后是否重跑评估)。

使用方式:对每个检查项先查产物,仅在无法从现有材料判断时才询问开发者。若完全找不到产物,会提示导出外部平台评估文件,或建议先用 llm-evals-checklist 判断是否具备开始条件。最后输出发现报告,只列有问题的领域,按影响排序,并给出修复建议与相关技能(如 llm-issue-discovery、llm-judge-creator、llm-judge-alignment、llm-annotation-guide、llm-eval-type-selector)。

适用场景:评估分数正常但产品仍感觉异常;首次搭建评估后做体检;怀疑评判未经验证或评估过于笼统时。

限制:需要可访问的评估产物,否则只能给出通用建议;不替代实际修复,只做诊断与建议;未提供具体安装命令、收费或平台支持信息。