MixEval
AI开发平台MixEval 是一个基于标准答案(ground-truth)的动态大语言模型评测基准,通过对现有多个基准进行混合构建。它从网络挖掘真实用户查询,并与现有基准中的相似查询匹配,从而兼顾真实世界查询的全面性与标准答案评测的高效、公平评分。MixEval 与 Chatbot Arena 的模型排名相关性达 0.96,运行速度快、成本低,仅为运行 MMLU 所需时间和成本的 6%,且完全本地运行、可复现。项目还提供难度更高的 MixEval-Hard,用于更好地区分强模型。MixEval 支持动态更新,通过快速稳定的流程定期替换查询,以缓解数据污染问题,更新后版本间分数方差低(0-100 分制下标准差 0.36),版本差异显著(唯一查询比例 85%)。该基准已被 NeurIPS 2024 接收,后续还发布了支持任意到任意真实世界评测的 MixEval-X。官方网站提供排行榜、评估套件及论文等资源。