We-Math 是一个专门设计用于探索大型多模态模型（LMM）在视觉数学推理中问题解决原理的基准测试，其核心目标是评估模型是否达到类人数学推理水平。与现有基准不同，We-Math 围绕教科书知识单元构建，将复合问题根据所需知识概念分解为子问题，并采用分层知识结构、基于知识的推理评估和知识概念增强等方法。
用途 We-Math 主要用于评估 LMM 在视觉数学推理中的表现，不仅关注最终答案的正确性，还深入分析模型在解题过程中的内在问题，如知识掌握不足、泛化能力欠缺、完全掌握或死记硬背。它旨在为 LMM 的视觉数学推理研究提供新的评估路径。
主要能力
- 分层知识结构：严格遵循数学教科书中的知识，具有严谨的层级和多类别架构，确保同一层级内知识概念的独立性，并建立不同层级概念间的逻辑关系。
- 基于知识的推理评估：将复杂数学问题分解为更易管理的子问题，并采用多样化的测量维度进行细致评估。
- 知识概念增强：从维基百科和教科书中引入 67 个知识概念的描述，为 LMM 的推理过程提供必要的知识支持。
- 四维评估指标：包括知识不足（IK）、泛化不足（IG）、完全掌握（CM）和死记硬背（RM），用于分层评估 LMM 推理过程中的问题。
使用方式 We-Math 提供了基准测试数据集（testmini 子集包含 1,740 个示例），并推荐使用 VLMEvalKit 进行评估，采用严格分数（Strict Score）作为报告指标。更多结果可在 OpenCompass 上查看。用户可通过发送结果 JSON 文件至指定邮箱提交结果至排行榜。
适用场景 We-Math 适用于研究机构、AI 开发者以及对多模态模型数学推理能力感兴趣的研究人员，用于评估和改进 LMM 在视觉数学推理方面的表现，特别是探索模型在知识掌握、泛化能力和推理可靠性方面的表现。
限制 目前资料未提供关于 We-Math 的收费、价格、平台支持等具体信息。其评估主要针对视觉数学推理，可能不适用于其他类型的推理任务。此外，基准测试的构建依赖于教科书知识，可能无法覆盖所有数学领域。
