SimpleRL-reason 是一个用于提升模型推理能力的简单强化学习训练代码库，由 HKUST-NLP 团队开发并开源在 GitHub。其核心特点是仅使用基于规则的奖励和 GSM8K/Math 数据集，无需复杂奖励模型即可进行强化学习训练。
主要能力：项目已成功对 10 个多样化的基础模型进行零 RL 训练，模型包括 Llama3 8B、Mistral 7B/24B、DeepSeekMath 7B、Qwen2.5 0.5B/1.5B/7B/14B/32B 以及 Qwen2.5-Math-7B。在仅使用 8K 示例数据的情况下，准确率提升范围为 10 到超过 20 个绝对百分点。项目开源了所有 10 个模型检查点、训练/评估代码以及分析工具，并提供了论文、博客和 Hugging Face 模型集合。
使用方式：代码基于 Verl 实现，支持自定义环境设置和 FSDP 训练。训练数据包含三个难度级别（Easy: GSM8K 和 MATH lv.1；Medium: MATH lv.1-4；Hard: MATH lv.3-5），并已处理为两种格式：简单提示（abel）和复杂提示（qwen），可直接下载数据集。训练时需先启动 Ray 集群，主训练脚本为 train_grpo_math_tune_ray.sh，需在脚本中指定环境变量，然后从主节点提交训练作业。训练过程采用 GRPO 算法，利用 Ray 和 vLLM 加速。
硬件要求：训练 Qwen-2.5-0.5B 最低需要单张 H/A100-80G GPU；训练 7B 和 14B 模型使用 2x8 H100-80G GPU，约 100 步、15 小时完成；训练 32B 模型使用 8x8 H100-80G GPU，1.5 天完成。
评估与可视化：评估使用 Qwen Math 的代码库，但禁止通过调用代码解题。eval_math_nodes.sh 脚本提供评估、结果收集和分析的完整流程，评估结果保存在 $RUN_NAME/eval_results，指标包括剪裁比例、平均响应长度等。项目还提供基于 Gradio 的可视化工具，展示模型在不同训练步数和基准上的推理过程。
适用场景：适用于研究强化学习提升语言模型推理能力的学术或工程场景，特别是零 RL 训练和有限数据下的推理能力提升研究。限制：需要 GPU 资源，训练细节依赖 Verl 框架，部分模型需要多卡环境。
