SuperAPI AI 工具集

nemo-gym-pivot-datasets

智能体与模型

查看项目

更新于 10-16 02:32

技能介绍

用途:把已有智能体轨迹或 rollout 产物转成 Nemo Gym pivot 数据集,或校验 pivot JSONL 与配置能否用于单步局部 RL 或评估。

主要能力:按语义重建 Gym Responses 风格行,每个被接受的决策点生成一行 pivot JSONL;识别模型调用输入上下文、可用工具、期望助手动作、奖励/验证目标及可选溯源信息;生成或更新匹配的 Gym 配置;用内置校验器校验,并可在有 Gym 仓库时对照资源服务器 Pydantic 模型校验;输出跳过行、动作类型、工具名、深度和溯源覆盖率等指标。

使用方式:先检查源数据形状并统计候选助手决策点,再按语义转换,不要假设源字段名就是契约。单步工具使用比较的关键行字段包括 responses_create_params、expected_action、agent_ref。expected_action 必须唯一;若一个助手回合有多个工具调用,应过滤出 pivot 数据集,仅保留在跳过行审计中。可选空字段不要复制进 responses_create_params。参考脚本位于 scripts/reference/,含通用、chat 消息、对话消息和工具消息转换示例,但可能含数据集特定路径或旧分支行为,应作为示例而非原样命令。

校验命令:python scripts/validate_pivot_dataset.py --path /path/to/pivot.jsonl --agent-ref expected_agent_name;有 Gym 仓库时加 --gym-repo /path/to/Gym-github。仅在数据集特定工作流需要额外溯源检查时使用 --require-field 和 --require-any-field。

适用场景:从成功轨迹构建局部单步 pivot 数据集,优先选择混合奖励状态,用基于验证器的局部奖励训练,而非精确轨迹模仿。

限制:优先使用干净正向源轨迹;源任务过滤为偏好而非强制。建议用下游或初始策略做至少 8 次本地 on-policy rollout 采样,保留混合奖励候选,丢弃全 1 和全 0 组。配置中 agent_ref.name 须与 agent 块匹配,tool_choice 用 auto,word_count_similarity_threshold 是主要字符串参数匹配旋钮。有效 JSONL 仍可能因 agent/资源服务器名称不匹配而不可用。