SuperAPI AI 工具集

nemo-gym-reward-profiling

智能体与模型

查看项目

更新于 11-06 10:18

技能介绍

Nemo Gym Reward Profiling 是一个围绕 NeMo Gym 奖励画像流程的技能,适合需要运行、理解或小幅修改奖励画像工作流的用户。其内容以标准工作流为主线,而不是针对单个失败任务做调试。

用途 该技能用于指导用户从启动环境到生成奖励画像输出的完整链路,帮助理解各阶段产物之间的关系,并在需要时对命令做轻微调整。

主要能力

  • 说明基本工作流:gym env start 启动模型/资源服务器;gym eval run --no-serve 写入 rollout 产物;gym eval profile 从这些产物生成画像输出。
  • 解释核心概念:_materialized_inputs.jsonl 是经过重复扩展、agent 默认值与任务/rollout id 分配后的展开输入;rollouts.jsonl 是每个物化输入行对应的一条已完成 rollout/结果;_reward_profiling.jsonl 是每个至少有一条已完成 rollout 的原始任务的汇总画像行。
  • 说明标识字段:_ng_task_index 为原始任务/样本 id,_ng_rollout_index 为该任务的重复 rollout id。
  • 说明 rollout_infos 字段:每个任务画像行内的紧凑逐 rollout 信息,包含奖励、Token 用量以及可用的数值型 rollout 指标。
  • 强调按 _ng_task_index 与 _ng_rollout_index 两个键来做奖励与长度或奖励与 Token 的关联分析。

使用方式 基本步骤为:识别环境配置路径与输入 JSONL;用 gym env start 启动 Gym 服务器;用 gym eval run --no-serve 收集 rollout;对物化输入与 rollout JSONL 运行 gym eval profile 生成 *_reward_profiling.jsonl;检查行数与画像行。重复 rollout 是主要的画像调节手段,num_repeats=1 虽可用,但每任务均值与方差只有在每任务多次 rollout 时才有意义。默认执行严格画像;若 rollout 收集提前停止,可使用 ++allow_partial_rollouts=True 对已完成的 rollout 做画像,并丢弃没有已完成 rollout 的原始输入行。需要通用命令模板与最小运行顺序时可参考 references/quick-start.md;需要解释物化输入、rollout JSONL、画像行、rollout_infos 与部分画像时可参考 references/output-format.md。

适用场景 适合希望了解 NeMo Gym 奖励画像流程、按标准步骤执行 rollout 收集与画像、基于产物做奖励与长度/Token 关系分析的场景。若用户主要是在调试失败任务或堆栈跟踪,应先使用 nemo-gym-debugging 技能。

限制 资料未提供具体环境配置示例、各命令的完整参数列表、性能数据或安装说明。当 CLI 标志与记忆不一致时,应以目标代码库的 CLI 帮助与 nemo_gym/metrics/reward_profile.py 为准。gym eval profile 才对应奖励画像步骤,rollout 收集本身不会写出奖励画像文件。