LMM-R1 是一个面向大型多模态模型（LMM）强化学习训练的开源项目，托管于 GitHub。该项目是 OpenRLHF 的一个分支，目标是复现 DeepSeek-R1 在多模态任务上的推理能力，并通过两阶段基于规则的强化学习框架，高效增强小规模（如 3B 参数）LMM 的推理能力。
【用途】 小型 3B 多模态模型通常因参数容量有限，且视觉感知与逻辑推理整合复杂，在推理任务上表现不佳。同时，高质量的多模态推理数据稀缺，进一步增加了训练难度。LMM-R1 旨在解决这些挑战，提供一个轻量、易用、全面的训练框架，用于提升多模态模型的推理能力。
【主要能力】 项目提出两阶段基于规则的强化学习框架：
- 基础推理增强（Foundational Reasoning Enhancement, FRE）：使用纯文本数据构建强推理基础，脚本 FRE-Text 使用 DeepScaler-40K 数据集，通过基于规则的 RL 提升模型的基础推理能力。
- 多模态泛化训练（Multimodal Generalization Training, MGT）：将推理能力扩展到多模态领域，从 FRE-Text 检查点继续训练。包含 MGT-Geo（使用 VerMulti-Geo 数据集，15K 几何问题）和 MGT-PerceReason（使用完整 VerMulti 数据集，平衡感知与推理能力）。项目发布了最终模型 MGT-PerceReason。 此外，项目还提供跳过 FRE 阶段直接进行 RL 训练的基线脚本，用于对比。
【技术特性】
- 支持 LMM 训练（Qwen2.5-VL、Phi3.5-V、Phi4-Multimodal）。
- 基于 Ray 的分布式 PPO 和 REINFORCE++/RLOO 实现。
- 支持基于 Ray 的强化微调，使用 Hybrid Engine（--colocate_all_models、--vllm_enable_sleep、--vllm_gpu_memory_utilization 0.5）。
- 支持超过 700 亿参数模型的全量 RLHF 微调。
- 集成 vLLM 加速生成（--vllm_num_engines）。
- 支持多奖励模型（--reward_pretrain model1,model2...）和远程奖励模型（--remote_rm_url）。
- 集成 FlashAttention2（--flash_attn）。
- 支持 QLoRA（--load_in_4bit）和 LoRA（--lora_rank、--target_modules）。
- 日志支持 Wandb（--use_wandb）和 TensorBoard（--use_tensorboard）。
- 支持检查点恢复（--load_checkpoint、--save_steps）。
- 提供多节点训练脚本，如 Ray PPO。
- 相比 R1-V（GRPO），实现 4.7 倍加速（RLOO）。
【使用方式】 推荐使用 vLLM 0.7.2 或更高版本，项目提供了 vLLM 的 Dockerfile 和 Nvidia-Docker 一键安装脚本。 数据集需采用 OpenAI 兼容的消息格式，message 为字符串化的列表，示例见 examples/data/test_message.jsonl。可通过 --input_key 指定输入数据集的 JSON 键名，通过 --prompt_data {name or path}（PPO）或 --dataset {name or path} 指定数据集。多模态提示不要使用 --apply_chat_template，消息将在内部处理。可通过 --prompt_data_probs 0.1,0.4,0.5（PPO）或 --dataset_probs 0.1,0.4,0.5 混合多个数据集。训练遵循论文中的两阶段方法，每个阶段均有脚本。
【适用场景】 适用于研究多模态模型推理能力提升的学术与工程场景，特别是希望在有限参数规模下通过强化学习增强几何推理、感知与推理平衡等任务表现的用户。
【限制】 项目为研究性代码库，具体性能表现依赖模型、数据与训练配置。未提供商业化支持、定价或平台服务的相关信息。更多细节请参考官方仓库与论文。
