用途：这是 infra/nrl_k8s/ 下 nrl-k8s CLI 的操作手册，用于在共享 Kubernetes 集群上启动、迭代、监控、停止和调试 NeMo-RL 配方。执行前应先核对集群当前状态（kubectl、git log、配方与 infra 文件），因为集群共享、误操作代价高。
主要能力：核心提交命令为 nrl-k8s run，分两种生命周期模式。默认 ephemeral 模式由 KubeRay 应用 RayJob，运行后自动拆除集群；加 --raycluster 进入长驻模式，复用匹配的现有集群，缺失则创建，规格漂移时警告并复用（--recreate 可替换），适合开发迭代。其余命令用于可观测性与分阶段控制：check 校验配方与 infra 并可用 -o 输出解析后的清单；status 查看各角色 RayCluster、head/worker Pod 阶段与 daemon 状态；cluster up/down/list/dashboard 独立管理 RayCluster；job list/logs/stop 查看已提交 Ray Job；logs 直接跟踪某角色 Pod 或 daemon 日志。
使用方式：每次启动需要配方与 infra 两个文件，infra 用 --infra 传入，例如 nrl-k8s run infra/nrl_k8s/examples/<recipe>.yaml --infra infra/nrl_k8s/examples/<recipe>.<profile>.infra.yaml。配方是 NeMo-RL 配置（模型、GRPO/SFT 参数、cluster.gpus_per_node、num_nodes）；infra 描述 K8s/Ray 形态（namespace、镜像、service account、kuberay 下的 RayCluster 规格、deployments、submit.submitter、launch 等）。长驻模式有 --mode interactive/batch 宏，以及 --submitter、--code-source、--wait/--no-wait、--replace、--recreate、--skip-daemons 等标志。ephemeral 模式（--rayjob）支持 --rayjob-name、--shutdown/--no-shutdown、--ttl、--wait/--no-wait、--timeout、--dry-run。
适用场景：一次性训练、开发循环、首次分离式（disaggregated）启动、仅集群生命周期管理、部署（如 nemo-skills sandbox）、运行监控与停止、以及用 nrl-k8s dev 管理用于代码同步和调试的 CPU Pod。
限制与注意事项：OmegaConf 会解释 ${VAR}，需用 ${VAR} 转义；Megatron 优化器配置不支持 foreach/fused 覆盖；DTensor 与 Megatron 配置需区分；codeSource 为 image/lustre 时读取 Pod 文件系统，本地改动若未同步到共享文件系统则不会生效；ephemeral-storage 与 readinessProbe 由 webhook 注入，不应写入内联 RayCluster 规格；kubectl exec 在自动化中常被禁用；删除共享 infra 前必须确认。资料未提供收费、价格或平台支持范围等信息。