用途:帮助用户上手、理解或小幅修改 Nemo Gym 的奖励剖析流程,围绕标准工作流组织回答。若用户主要是在调试失败任务或堆栈报错,应先使用 nemo-gym-debugging 技能。
主要能力与工作流:先确定环境配置路径与输入 JSONL;用 gym env start 启动模型与资源服务器;用 gym eval run --no-serve 收集 rollout,写出 rollouts.jsonl 与 *_materialized_inputs.jsonl;再对 materialized inputs 与 rollout JSONL 运行 gym eval profile,生成 *_reward_profiling.jsonl;最后检查行数与剖析行。
核心概念:_materialized_inputs.jsonl 是经过重复扩展、agent 默认值与 task/rollout id 分配后的展开输入;rollouts.jsonl 每个 materialized 输入行对应一条完成的 rollout/结果;_reward_profiling.jsonl 每个至少有一条完成 rollout 的原始任务对应一行汇总剖析。_ng_task_index 为原始任务/样本 id,_ng_rollout_index 为该任务的重复 rollout id,rollout_infos 包含每条 rollout 的奖励、token 用量与可用数值指标。奖励与长度或 token 的分析需同时以 _ng_task_index 和 _ng_rollout_index 为键。
使用方式与默认值:重复 rollout 是剖析的主要手段,num_repeats=1 有效,但每任务均值与方差只有在多次 rollout 时才有意义。默认运行严格剖析;若 rollout 收集提前停止,可用 ++allow_partial_rollouts=True 剖析已完成 rollout,并丢弃没有完成 rollout 的原始输入行。gym eval profile 即奖励剖析步骤,rollout 收集本身不写奖励剖析文件。需要细节时可加载 references/quick-start.md(通用命令模板与最小运行序列)和 references/output-format.md(输出格式说明)。若标志有差异,以目标 checkout 的 CLI 帮助与 nemo_gym/reward_profile.py 为准。
限制:资料未提供具体环境配置示例、依赖安装、平台与性能数据,暂未提供。