用途:在 Kubernetes 集群上通过 nrl-k8s CLI 运行 NeMo-RL 配方。核心提交命令为 nrl-k8s run,分两种生命周期模式:默认临时模式(Ephemeral)提交 RayJob,运行后自动销毁集群;长生命周期模式 nrl-k8s run --raycluster 复用已有集群,适合迭代开发,参数漂移时默认警告并复用,--recreate 可替换。每次启动需两个文件:配方(NeMo-RL 配置)与基础设施(K8s/Ray 形态),用 --infra 传入,例如 nrl-k8s run infra/nrl_k8s/examples/<recipe>.yaml --infra infra/nrl_k8s/examples/<recipe>.<profile>.infra.yaml。
主要能力:nrl-k8s check 校验配方与基础设施并可输出解析后的清单;status 查看各角色 RayCluster 与 Pod 状态;cluster up/down/list/dashboard 独立管理 RayCluster;job list/logs/stop 观察已提交的 Ray Job;logs 直接查看 Pod/守护进程日志。长生命周期模式支持 --mode interactive|batch、提交器 portForward/exec、代码来源 upload/image/lustre、--wait/--no-wait、--replace、--recreate、--skip-daemons 等。临时模式支持 --rayjob、--shutdown/--no-shutdown、--ttl、--timeout、--dry-run 等。另有 nrl-k8s dev 管理集群上的轻量 CPU Pod,用于代码同步与调试,如 nrl-k8s dev setup-secrets --ssh-key ~/.ssh/id_rsa --add-rclone、nrl-k8s dev connect、nrl-k8s dev stop。
适用场景:共享 Kubernetes 集群上的 NeMo-RL 训练与调试、一次性跑批、开发循环、分离式(disaggregated)启动、以及纯集群生命周期管理。
限制与注意:操作前应确认集群当前状态(kubectl、git log、配方与基础设施文件),集群为共享资源,误操作代价高。在入口脚本执行 cd /opt/nemo-rl 等场景下,--code-source upload 不会覆盖 Pod 上的配方;OmegaConf 会解析 ${VAR},需用 \${VAR} 转义;Megatron 优化器配置不支持 foreach/fused;DRA 声明由 CLI 自动创建删除;秘钥须用 secretKeyRef。文档未提供安装命令、收费或价格信息。