Hands-On Modern RL 是一个开源、动手实践的强化学习课程项目，目标是弥合从基础强化学习概念到 LLM 对齐、RLVR（可验证奖励强化学习）以及高级智能体系统之间的差距。项目围绕一个核心问题展开：智能体采取行动、观察结果，并据此改进下一步行动；当奖励延迟、观测不完整且每次更新都会改变未来经验分布时，传统的监督学习范式不再足够，因此需要一套描述交互的语言、估计长期回报的方法，以及能够从有限数据中稳定改进策略的算法。
【课程定位与内容结构】 课程从 CartPole 和多臂老虎机入手，让状态、动作、奖励和策略变得可见；随后引入马尔可夫决策过程、价值函数和贝尔曼方程作为共同语言，再展开 DQN、策略梯度、Actor-Critic、PPO、连续控制与离线强化学习。在此基础上，RLHF、DPO、GRPO 与 RLVR 被视为同一序贯决策框架的延伸，而非孤立的缩写集合。 全书分为七部分、二十六章：
- 序章：从试错到现代智能体。
- 第一部分：序贯决策的语言，建立描述长期决策所需的数学对象。
- 第二部分：用神经网络学习价值与策略，引入函数逼近，沿价值学习与策略学习两条路线走向 PPO 与连续控制。
- 第三部分：扩展数据、任务与智能体，涉及交互成本高、有专家示范或多智能体多时间尺度任务的场景。
- 第四部分：LLM 对齐与后训练，将“动作”扩展为一段文本，进入偏好对齐、可验证奖励与推理时计算。
- 第五部分：工具使用与智能体强化学习，训练单元变为轨迹，信用分配、环境构建与安全边界成为核心。
- 第六部分：多模态世界中的强化学习，涉及视觉、音频、机器人动作与生成模型带来的新状态表示、奖励来源与评估标准。
- 第七部分：安全、评估与研究前沿，追问目标是否合理、增益是否真实以及能力扩展带来的新风险。
- 附录：实现、数学与工程参考。
【主要能力与学习方式】 每章遵循“问题—方法—实验—反思”的节奏：先由具体任务暴露难点，再引入所需概念与公式，然后用可运行代码、训练曲线与评估指标检验论证，最后审视假设、失败模式与方法边界。实现代码保留各算法可见的骨架，读者可以追踪轨迹收集、优势估计、损失构造与指标变化，并观察奖励黑客、KL 漂移、熵坍缩、分布偏移或评估泄漏如何使看似成功的训练失效。 项目提供八组示例：四组基于环境的实验，以及偏好调优、代码强化学习、研究智能体和视觉推理。 项目与 ModelScope 合作提供经典强化学习实验的在线训练环境，每个 Studio 配有 code/online-experiments 下的配套 Notebook，可导入相同训练运行时、暴露实验参数、打印完整训练日志、绘制检查点评估并展示策略回放或结果产物。其中实验 03、08、10、11、12 需要预约 ModelScope xGPU Notebook 并在训练前检查 CUDA。
【使用方式与仓库结构】
- 课程站点：walkinglabs.github.io/hands-on-modern-rl
- 源内容：docs/
- 可运行示例：code/（含代码索引与各章依赖说明，见 code/README.md）
- 本地验证：npm run verify 本地运行文档站点需要 Node.js >= 18.0.0。修改文档结构、主题代码、导航、构建脚本或生成资源后提交 PR 前，应运行 npm run verify，它会检查格式、对 VitePress 主题做 lint、构建站点并校验预期构建产物。多数代码示例使用 Python 并按章组织，小型安装可使用各章专属 requirements 文件；部分章节可能需要额外的系统库、GPU 支持、模型下载或环境特定配置，涉及 LLM、VLM 或重型模拟器的示例建议从第 01 章开始。
【推荐阅读路径】 首次系统阅读建议按章顺序进行：第 1–4 章建立强化学习语言与递归思想；第 5–9 章发展深度强化学习算法核心；第 10–12 章扩展数据与任务设定。关注 LLM 后训练的读者可在完成第 6–8 章后进入第 13–18 章，策略梯度、优势估计、PPO 与 KL 约束直接解释了 RLHF、DPO 与 GRPO 所用的目标。之后可从第 19–24 章中选择智能体或多模态强化学习相关主题；第 25–26 章建议与任何实验配合阅读，因为奖励与评估错误会影响书中所有方法。每章建议：复述其解决的问题、推导核心公式、至少运行一个实验，并改变一个重要假设来解释指标结果。
【适用人群与学习成果】 本书面向具备基础机器学习经验、希望系统理解现代强化学习的学生、研究者与工程师。读者应熟悉 Python 与基础 PyTorch，并了解入门级线性代数、概率与微积分；数学附录会按各章所需深度重建这些工具，因此不要求先修高级数学课程。完成核心章节与实验后，应能够：用 MDP、价值函数、贝尔曼方程与信用分配表述新的决策问题；实现、阅读与诊断 DQN、REINFORCE、Actor-Critic、PPO、DPO 与 GRPO；解释 SFT、奖励建模、偏好优化、RLHF 与 RLVR 在 LLM 后训练中的关系；为工具使用、代码与多模态智能体设计轨迹、奖励、训练循环与评估协议；识别训练曲线背后的失败模式，并用受控实验检验改进方案。
【计划里程碑与限制】 项目公布的计划包括：2026-05-02 初始开源可浏览版本；2026-05-10 发布首个稳定小版本，修复早期错别字并稳定第一、二部分内容与代码；2026 年 5 月下旬改进可复现的 LLM RL 实验并增加带评估的完整 RLVR 动手模块；2026 年 6 月初逐步交付从单工具使用到复杂 Deep Research 轨迹合成的智能体 RL 项目；2026 年 6 月下旬增加基于 Unity 的具身 RL 环境与可训练项目示例；2026 年 7 月及以后扩展多模态前沿内容，包含完整 VLM RL 或 Diffusion RL 动手案例。 需要说明的限制：课程内容正在逐章扩展，标注为“建设中”的章节可能仍有错误；项目明确声明该课程由 AI 辅助创建且尚未完全经过审阅，可能包含事实错误或无法按预期运行的代码，欢迎提交 Issue 与 Pull Request。由于计算资源有限，项目正在寻求 GPU 支持。项目采用 CC BY-NC-SA 4.0 许可。
