Mini-R1
AI学习网站Mini-R1 是一个通过强化学习复现 DeepSeek R1 “aha moment” 的教程与代码项目。该项目使用 Group Relative Policy Optimization (GRPO) 和 Countdown Game 谜题,训练开源模型自行学习自我验证与搜索能力。教程包含可交互的 Jupyter Notebook 代码,介绍了环境设置、生成训练样本、使用 TRL 和 GRPO 训练模型,以及使用 Deepspeed 和 vLLM 进行分布式训练的示例。还提供了训练观察结果和超参数调整经验,适合希望学习强化学习在 LLM 推理中应用的开发者。