RAGEN（Reasoning AGENT）是一个灵活的强化学习框架，用于通过多轮强化学习训练推理型 LLM 智能体，构建在 StarPO 算法之上。项目由 MLL Lab（西北大学 Manling Li 团队）开发，旨在诊断智能体强化学习训练的工作机制，并修复诸如 Echo Trap（RAGEN）和推理坍塌（RAGEN-2）等隐藏失效模式。
【用途】 RAGEN 面向需要训练多轮、轨迹级 LLM 智能体的研究与工程场景，提供统一的强化学习优化框架，支持对推理过程、奖励分配机制和提示-展开结构进行灵活控制。
【主要能力】
- StarPO 框架：统一优化多轮智能体，支持轨迹级和逐轮训练。
- 10 个内置环境：Sokoban、FrozenLake、WebShop、DeepCoder、SearchQA、Lean、Bandit、Countdown、MetaMathQA、Sudoku。
- Gym 兼容接口：便于添加自定义环境（参见 config/envs.yaml）。
- 优化方式：支持 PPO（通过价值函数进行 token 级优势估计）和 GRPO（将归一化奖励分配给整条轨迹）。
- RAGEN-2 新增：SNR-Adaptive Filtering（V2），基于奖励方差的轻量级 rollout 过滤，以缓解噪声梯度更新；推理坍塌诊断（V2），提供互信息代理指标以检测和监控训练中的模板坍塌。
- 诊断与训练质量：提供扩展的基准测试套件、扩展的 MI 诊断仪表盘（含熵、MI 代理、梯度分解的 WandB 可视化）、RL 训练指标指南。
- 四种推理机制：沿两个轴（输入内多样性——条件熵 H(Z|X)；跨输入可区分性——互信息 I(X;Z)）诊断智能体行为，模板坍塌（高熵、低 MI）无法被现有基于熵的指标发现。
【使用方式】 安装：运行 bash scripts/setup_ragen.sh --with-search 以包含搜索环境；WebShop 环境参见 docs/experiment_webshop_release.md。 训练：默认无过滤训练；可使用 SNR-Adaptive Filtering（V2，Top-p）进行过滤训练。更多过滤策略（Top-k、线性模式等）参见 Rollout Filtering Guide。 评估与配置：参见 Evaluation Guide（如何评估模型和配置输出格式）、MI Metrics Reference、添加自定义环境指南。 实验复现：主表、干预扫描、FrozenLake、Sokoban 梯度、Search、DeepCoder、WebShop 均有对应复现说明。
【适用场景】 适用于 LLM 智能体强化学习研究，特别是多轮交互、轨迹级优化、推理能力训练以及训练失效模式诊断等场景。相关或受启发的项目包括 ROLL、VAGEN、Search-R1、ZeroSearch、Agent-R1、OpenManus-RL、MetaSpatial、s3 等。
【限制】 官方文档（2025.5.8 发布）已注明过时。RAGEN 正在开发下一代基础设施与诊断工具，计划于 2026 年 3 月底发布，包括异步 rollout 引擎、基于 HTTP 的环境接口、分层 Env Wrapper、可选环境依赖、扩展基准套件、扩展 MI 诊断仪表盘、多模态智能体支持（基于 VAGEN）、公开排行榜等。当前版本的具体收费、价格、平台支持等信息暂未提供。
