AReaL 是一个大规模异步强化学习系统，定位为连接基础模型训练与智能体应用的 RL 桥接基础设施。它最初由清华大学交叉信息研究院（IIIS）与蚂蚁集团 AReaL 团队的研究人员和工程师开发，基于全异步 RL 训练范式，针对大规模推理与智能体模型训练进行效率与可扩展性优化。其使命是让广泛的开发者与研究者更易用、高效、低成本地构建 AI 智能体。
主要能力方面，AReaL 支持智能体强化学习（Agentic RL）与在线 RL 训练。对于黑盒智能体应用，只需替换 base_url 即可无缝定制；全异步 RL 训练稳定且速度行业领先；在数学、编程、搜索和客服等场景的智能体上达到先进性能。项目持续迭代，已发布多个版本：v0.1 提供 1.5B 和 7B 大型推理模型的可复现结果；v0.2（boba）引入 SGLang 支持并发布数学推理的 7B 和 32B 先进模型；v0.3（boba²）实现全异步 RL 训练，相比同步系统取得 2.77 倍加速且训练性能相当或更优；AReaL-lite 是面向 AI 研究者与快速原型设计的轻量版，采用算法优先的 API 设计，代码量减少 80%，保持 90% 的性能与核心功能；AReaL 2.0 为重大架构里程碑，重构为微服务架构，包含独立的训练、推理、智能体与权重更新服务，并发布 Hermes 在线 RL 循环和端到端 SWE RL 训练示例。其他近期更新包括：KPop（双向二元 KL 散度 token 掩码，通过 rejection_sampling.metric=binary_kl 配置）与 IcePop（基于重要性比率的 token 掩码）；与 Scaffoldings 集成用于智能体 RL 训练，实现智能体执行、奖励计算与轨迹获取的解耦；支持在 Ascend NPU 设备上稳定训练；训练 OpenClaw 智能体的完整示例（替换 base_url 与 api_key 即可）；AReaL-SEA 自演化数据合成引擎；ASearcher 搜索智能体；以及社区双周会等。
使用方式方面，可通过安装包开始，训练脚本会自动下载所需数据集（openai/gsm8k）和模型（Qwen/Qwen2-1.5B-Instruct）。支持单节点运行，也支持在 Ray 集群上运行（需更新 YAML 文件中的路径指向共享存储）。所有 RL 算法均可通过设置 max_head_offpolicyness=0 切换为异步或同步版本。AReaL 支持多种训练后端与推理后端，提供 CLI 指南、大型 MoE 与 Megatron/PyTorch Archon 支持。文档涵盖代码走查、在 GSM8K 上运行 GRPO、改进算法性能、智能体工作流最佳实践、OOM 处理、性能分析、自定义数据集、自定义智能体/RVLR rollout 工作流、异步 RL 解释、PPO/GRPO 及相关算法、CLI 配置、指标跟踪、分配模式、rollout 工作流及 AI 辅助开发等内容。
适用场景包括：数学与推理、视觉-语言模型、对齐与基础设施、编程、搜索、客服等智能体训练；面向研究者快速原型设计（AReaL-lite）；大规模推理与智能体模型训练。
限制方面，官方资料未明确说明具体限制条件，但项目依赖特定训练与推理后端，部分功能需要 Ray 集群或特定硬件（如 Ascend NPU）支持。具体安装命令、代码内容与完整配置参数请参考官方文档与仓库。
