eval-audit 是一个 LLM 评测流水线审计技能，用于检查现有评测系统并输出按影响排序的问题清单，每项问题附带具体修复动作。
用途：在接手他人评测系统、或需要排查评测是否可信时，系统性地诊断评测流水线中的常见缺陷，如缺少错误分析、裁判未经验证、虚荣指标等。
主要能力：先收集评测产物（traces、评测器配置、裁判提示词、标注数据、指标看板），可通过可观测性 MCP 服务器（Phoenix、Braintrust、LangSmith、Truesight 等）或本地文件获取；随后在六个领域运行诊断检查：错误分析、评测器设计、裁判验证、人工复核流程、标注数据、流水线卫生。
检查要点包括：是否基于真实 traces 做过系统错误分析、失败类别是头脑风暴还是观察得来；评测器是否为二元通过/失败、裁判提示词是否针对具体失败模式、可客观校验的标准是否误用 LLM 裁判、是否以相似度指标作为主要评测；裁判是否用人工标签验证、是否用 TPR/TNR 而非原始准确率衡量对齐、是否存在训练/开发/测试数据泄漏；复核者是否具备领域专长、是否看到完整 trace、数据展示是否可读；标注数据量是否足够（错误分析约 100 条 trace，裁判验证约 50 通过加 50 失败）；重大变更后是否重跑错误分析、评测器是否持续维护。
使用方式：按六个领域逐项检查实际产物，记录发现的问题，按对产品的影响排序，以指定报告格式输出（问题标题、状态、说明、修复动作）。若没有任何评测产物，则先做错误分析，无生产数据时用 generate-synthetic-data 生成测试输入，在完成错误分析前不要建议构建评测器、裁判或看板。
限制：需要能访问评测产物；无法确定的问题应标注“无法确定”；该审计不是一次性事件，流水线重大变更后需重新审计。具体安装与调用命令资料未提供。