用途：在 hermes-agent 仓库中构建与 Atropos 训练框架集成的强化学习环境。这类环境运行多轮带工具调用的智能体循环，而非单轮补全；基类负责循环编排、按组解析工具、提供 ToolContext 用于奖励验证，开发者只需实现任务与评分。
主要能力：需实现 setup（加载数据集并划分训练/评估集）、get_next_item、format_prompt、compute_reward、evaluate、wandb_log。compute_reward 接收 AgentResult（含 messages、turns_used、finished_naturally、tool_errors），需从 messages 中提取最终回复与所用工具；可用 LLM 评判、ctx.terminal 运行测试的二元验证或多信号加权。evaluate 必须使用 HermesAgentLoop 完整循环，温度设为 0。
使用方式：三种 CLI 模式——serve（完整训练循环）、process（离线生成 JSONL）、evaluate（独立评估）。运行前须先询问用户的推理配置，可选 OpenRouter、自托管 VLLM、其他 OpenAI 兼容 API 或本地 Atropos 服务器；外部 API 需设 --openai.server_type openai 且 --openai.health_check false。配置优先级为 CLI 参数 > YAML > config_init() 默认值。
适用场景：为 Hermes Agent 训练构建带工具调用的智能体任务环境与奖励函数。
限制与注意：AgentResult 无 final_response 等字段；评估会污染训练指标缓冲，需回滚；ToolContext.cleanup() 应放在 finally；default_toolsets 仅为提示，实际由 enabled_toolsets 控制；evaluate 模式需设 data_dir_to_save_evals。具体模型、价格与平台信息资料未提供。