LIMO（Less is More for Reasoning）是由 GAIR-NLP 团队开发的研究项目，已被 COLM 2025 接收。其核心理念是挑战传统观念：模型可以通过更少但更高质量的训练数据实现优越的数学推理性能。
用途
LIMO 面向大语言模型推理能力的研究与开发，重点探索训练数据质量与数量对模型推理性能的影响。项目提供了模型、数据集和评估工具，供研究人员和开发者使用。
主要能力
- 在仅使用 817 个训练样本的情况下，LIMO 在 AIME 2025 评估中取得 44.6 分，与使用 800k 样本训练的模型相比具有竞争力。
- 展示出强大的泛化能力，第三方评估显示在 AIME24、GPQA 和 MATH-500 基准上均有提升。
- 提供全面的评估工具，支持规则评估和基于模型的评估。
- 发布了多个模型和数据集版本，包括最新的 LIMO-v2。
模型与数据集
模型和数据集均通过 Hugging Face 发布。模型基于 Qwen2.5-32B-Instruct 微调，兼容 HF Transformers、VLLM、TensorRT-LLM 等框架。
- 模型：GAIR/LIMO（原始 817 样本训练模型）等
- 数据集：GAIR/LIMO（原始 817 训练样本）、LIMO-v2 数据集等
使用方式
- 环境设置：按照 LLaMA-Factory 官方文档配置训练环境。
- 数据准备：从 Hugging Face 获取 LIMO-v2 数据集，并按 LLaMA-Factory 指南格式化。
- 配置：使用项目提供的配置文件，包含超参数和训练设置。
- 训练：支持多节点训练，需设置 PET_NNODES、PET_NODE_RANK、MASTER_ADDR、MASTER_PORT 等参数。
- 评估：提供评估脚本，包括基于 VLLM 的推理和规则/模型评估，复杂回答使用 Qwen2.5-32B-Instruct 作为评判模型。详细说明见 eval/README.md。
适用场景
适用于大语言模型数学推理研究、训练数据效率探索、模型泛化能力评估等场景。
限制
多节点训练环境因机器和集群配置而异，需根据具体基础设施调整训练配置和启动命令。当前未提供关于收费、价格、平台支持等商业信息。
项目采用 MIT 许可证开源。
