Agentic-RAG-R1（仓库名 Harness-RL）是论文《Black-Box Reinforcement Learning with Action-Args Decoupling for Central-Agent Multi-Agent Harnesses》的官方实现，已被 PCC 2026 接收。
用途 该框架用于在中心智能体多智能体执行框架（central-agent multi-agent harness）中训练语言模型智能体。与将执行过程压平为单一 token 序列的做法不同，Harness-RL 从接口调用和会话前缀树构建黑盒轨迹，再通过冲突感知策略优化（Conflict-Aware Policy Optimization，CAPO）把来自动作 token 和参数 token 的梯度路由到各自对应的参数子空间。
主要能力
- 支持仅中心智能体训练（central-only training）与多智能体联合训练（joint multi-agent training）。
- 采用 CAPO 实现动作与参数解耦的梯度路由。
- 集成 StackPlanner 作为生产级智能体执行框架，提供 web_search 等标准接口。
- 集成 slime 提供分布式 rollout、SGLang 服务、Megatron 训练、检查点保存与权重同步。
- 通过 Search-R1 retriever 实现检索配置。
- 提供可移植模板，默认以 dry-run 模式启动，便于先检查解析后的命令再实际运行。
- 支持从 slime 检查点恢复训练。
- 提供生成预测与使用 OpenAI 兼容 judge 评分的流程。
使用方式 环境要求为 Linux x86_64、NVIDIA GPU、兼容的 CUDA 驱动、Git、Make 与 Python 3.12。默认安装位置为 $HOME/.cache/harness-rl，可通过设置 SP_ENV_PREFIX、SP_SOURCE_ROOT 或 SP_BUILD_CACHE 更改。
主要步骤包括：
- 下载并转换固定的 ASearcher 训练切分数据，准备评估清单；生成的数据集写入 data/ 目录且不被 Git 跟踪。
- 放置 Hugging Face 检查点及其 Megatron torch-distributed 转换结果，slime 提供转换工具；在 configs/ 下所选文件中更新 hf_checkpoint、reference_checkpoint、tokenizer、分布式拓扑与模型架构参数。
- 配置检索：Harness-RL 通过标准 StackPlanner web_search 接口使用 Search-R1 retriever，可设置 SP_SEARCH_R1_ROOT、SP_SEARCH_R1_CUDA_DEVICES 或 SP_SERVICE_HOST 以匹配部署；提交的配置不含凭据，默认使用回环服务地址。仅中心智能体运行还需要一个冻结的 OpenAI 兼容专家端点。
- 使用提供的三个可移植模板，模板使用相对仓库路径并默认以 dry-run 模式启动；编辑模型路径与硬件拓扑，检查解析后的命令，然后将 dry_run 设为 false。
- 从 slime 检查点恢复训练。
- 构建 CAPO 路由工件：实验 B 和 C 需要由成功 rollout 记录生成的路由元数据，这些文件是运行时输入，不纳入版本控制；联合多智能体训练使用 --taxonomy all-agent-action-output，然后将相应配置中的 capability 字段指向生成的目录。
- 使用生产级 StackPlanner 图生成预测，并用 OpenAI 兼容 judge 对生成的预测进行评分。
适用场景 适用于研究或工程中需要在多智能体执行框架内训练语言模型智能体的场景，尤其是希望避免将执行压平为单一 token 序列、并需要对动作与参数进行解耦梯度优化的强化学习实验。支持仅中心智能体与多智能体联合训练两种模式。
限制 资料未提供关于收费、价格、平台支持范围、效果指标或具体性能数据的说明。运行环境限定为 Linux x86_64 与 NVIDIA GPU，并需要兼容的 CUDA 驱动、Git、Make 与 Python 3.12。检索配置依赖 Search-R1 retriever 与 StackPlanner 的 web_search 接口；仅中心智能体运行还需要一个冻结的 OpenAI 兼容专家端点。部分实验需要额外生成 CAPO 路由元数据，且这些文件不纳入版本控制。
