MiMo 是小米开源的语言模型系列，全称为 MiMo: Unlocking the Reasoning Potential of Language Model – From Pretraining to Posttraining，项目托管于 GitHub（https://github.com/XiaomiMiMo/MiMo）。
用途 MiMo 面向推理任务，尤其是数学与代码推理。该项目认为，强化学习训练推理模型的效果依赖于基座模型固有的推理潜力，因此不仅关注后训练，也针对推理优化预训练策略，以全面释放语言模型的推理潜能。
主要能力 MiMo-7B 是从零开始训练、为推理任务而生的模型系列，其 RL 实验显示该模型具备突出的推理潜力，甚至超越更大的 32B 模型。经冷启动 SFT 模型进行 RL 训练后得到的 MiMo-7B-RL，在数学和代码推理任务上表现优异，可匹配 OpenAI o1-mini 的性能。项目开源了基座模型、SFT 模型、基于基座训练的 RL 模型以及基于 SFT 训练的 RL 模型等多个检查点。
预训练方面，项目优化了数据预处理流程，增强文本提取工具包，并应用多维数据过滤提高预训练数据中的推理模式密度；采用多种策略生成大量多样的合成推理数据；采用三阶段数据混合策略进行预训练。MiMo-7B-Base 整体在约 25 万亿 token 上预训练，并引入多 token 预测（MTP）作为额外训练目标，以提升模型性能并加速推理。MTP 层在预训练和 SFT 阶段被调整，在 RL 阶段被冻结；使用一个 MTP 层进行推测解码时，接受率约为 90%。
后训练配方方面，项目整理 13 万个数学和代码问题作为 RL 训练数据，这些问题可由基于规则的验证器验证，每个问题都经过仔细清洗和难度评估。仅使用基于规则的准确性奖励以避免潜在的奖励作弊；针对困难代码问题的稀疏奖励问题，引入由测试难度驱动的代码奖励，通过为不同难度级别的测试用例分配细粒度分数，利用稠密奖励信号更有效地优化策略；对简单问题实施数据重采样策略，以提高 rollout 采样效率并稳定策略更新，尤其在 RL 训练后期。
RL 基础设施方面，项目开发了 Seamless Rollout Engine 来加速 RL 训练和验证，其设计整合了持续 rollout、异步奖励计算和提前终止，以减少 GPU 空闲时间，实现训练速度提升 2.29 倍、验证速度提升 1.96 倍；在 vLLM 中支持 MTP，并增强 RL 系统中推理引擎的鲁棒性。
2025年5月30日更新：将 SFT 数据集从约 50 万实例扩展到 600 万实例，并将 RL 训练窗口大小从 32K 持续扩展到 48K，MiMo-7B-RL-0530 在 AIME24 上的性能可不断提升，最终超越 DeepSeek R1（79.8）。
使用方式 模型可在 https://huggingface.co/XiaomiMiMo 和 https://www.modelscope.cn/organization/XiaomiMiMo 获取。推理支持方面，SGLang 团队提供了 MiMo 模型支持和 MTP，MiMo 已在 SGLang 主流中支持，详细用法可查阅 SGLang 文档。项目官方推荐使用其 vLLM 分支（基于 vLLM 0.7.3 开发）进行 MiMo-MTP 推理；或者在不加载 MTP 参数的情况下为 MiMo 注册 vLLM loader——可将 registry/register_mimo_in_vllm.py 复制到自己的目录并导入。官方推荐使用空的系统提示词，目前尚未验证 MiMo 在其他推理引擎上的表现，欢迎基于 Hugging Face 仓库中的模型定义进行贡献。如有问题可联系 mimo@xiaomi.com 或提交 issue。
适用场景 适用于数学推理、代码推理等需要较强推理能力的任务，可基于开源检查点进一步训练、评测或部署，也可用于研究从预训练到后训练的推理增强方法。
限制 评估在 temperature=0.6 下进行；AIME24 和 AIME25 采用 32 次重复的平均分，LiveCodeBench v5（20240801-20250201）、LiveCodeBench v6（20250201-20250501）、GPQA-Diamond 和 IF-Eval 采用 8 次重复的平均分，MATH500 和 SuperGPQA 为单次运行。官方尚未验证其他推理引擎；其他未在资料中说明的功能、收费、价格、平台、效果或使用步骤暂未提供。
