MixEval 是一个基于真实用户查询和现有基准混合的动态大语言模型评测套件。它旨在弥合真实用户查询与高效、可复现评测之间的差距，通过从网络挖掘用户查询并与现有基准中的类似查询匹配来构建基准。
主要能力：
- 提供与 Chatbot Arena 高达 0.96 相关性的准确模型排名。
- 运行快速、成本低廉，仅需 MMLU 6% 的时间和成本，且不依赖人工输入。
- 动态更新机制：每月定期更新数据点，避免数据污染，更新稳定且版本差异显著（85% 唯一查询比例）。
- 支持开源和专有模型，提供点击即用的评测套件，包括模型响应生成和分数计算。
- 支持注册自定义模型和基准数据。
- 包含两个基准：MixEval 和 MixEval-Hard，每个基准都有自由形式和多项选择两种分割。
- MixEval-Hard 是 MixEval 的困难版本，旨在更好地区分强模型，通过拒绝采样过程确保分布与真实查询对齐。
使用方式：
- 克隆仓库并设置环境。
- 设置 OpenAI API 密钥用于模型解析器（默认使用 GPT-3.5-Turbo-0125，也支持开源模型解析器）。
- 运行评测命令，即可同时进行推理和分数计算。也可仅进行模型推理或仅计算分数。
- 注册新模型：在 mixeval/models/ 中添加模型文件，继承相应的基类，并在 mixeval.models.init.AVAILABLE_MODELS 中添加条目。
- 支持本地检查点评测。
适用场景：
- 需要快速、低成本评估大语言模型性能的研究人员或开发者。
- 希望获得与 Chatbot Arena 高度相关的模型排名。
- 需要动态基准以避免数据污染的场景。
- 评估自定义模型或本地模型。
限制：
- 评测依赖于模型解析器（默认 GPT-3.5-Turbo），可能产生 API 费用。
- 需要一定的技术设置，如环境配置和 API 密钥管理。
- 动态数据每月更新，可能影响版本间的可比性。
- MixEval-X 是另一个独立的多模态版本，不包含文本到文本模态，与 MixEval 分开评估。
