MathEval 是一个专注于全面评估大模型数学能力的测评基准。
用途：作为大模型数学能力的一站式测评与横向对比参考，同时为后续提升大模型数学能力提供指引。
主要能力：包含约 20 至 22 个数学领域测评集和近 30K 道数学题目，覆盖算术、小初高竞赛以及部分高等数学分支等各阶段、难度和数学子领域。支持多维度划分测评数据集，多角度评估大模型数学能力。
使用方式与扩展：提供灵活的扩展方式，便于新增数学测评集加入测评；支持多种模型接入测评，包括 Hugging Face 模型、API 模型和自定义开源模型；支持零样本测评和小样本测评等多样化测评方式。
适用场景：适合需要横向对比不同大模型数学解题能力的研究者或开发者，也可用于跟踪特定模型在数学领域的能力更新。
更新记录：2024 年 6 月 24 日加入 2024 高考数学测试集；同日加入 Qwen2-72B-Instruct、Qwen2-72B、Qwen2-57B-A14B-Instruct、Qwen2-7B-Instruct 等大模型参与测评。
限制：资料未提供具体评测指标计算细节、各测评集完整清单、许可协议、收费情况或平台限制等信息。
