用途:帮助在 SLURM 托管的远程 GPU 集群上运行 TAO 训练、评估、推理等作业。适合有受管 GPU 集群、共享 Lustre 存储和调度器分配 GPU 的用户;数据与输出必须能从集群访问,本地独占文件不适用。若会话未由 TAO 技能库插件初始化,先运行 tao-setup 技能。
主要能力:提供 submit、status、logs、cancel 四个操作。submit 会先在 Lustre 上准备镜像与数据集并编写 spec,然后经 SSH 用 sbatch 提交,用 srun 以容器方式执行;status 用 squeue/sacct 查询并把 SLURM 状态映射为 TAO 状态;logs 用 tail 读取主日志;cancel 用 scancel 取消并按记录标记状态。支持单节点与多节点,多节点模板额外设置 --nodes、--wait-all-nodes 和 torchrun 会合环境变量,并建议先做 NCCL 探测。
必要用法:要求配置 SLURM_USER、SLURM_HOSTNAME、SLURM_PARTITION,推荐提供 SSH_KEY_PATH,可选 SLURM_BASE_RESULTS_DIR、SLURM_ACCOUNT,支持免密码 SSH(ssh -o BatchMode=yes)。默认资源为 num_nodes 1、num_gpus 4、cpus_per_task 16、time_hours 4、timeout_hours 3.8,使用 use_requeue 与 use_sqsh。使用共享存储 URI(如 lustre:///绝对路径),不要用本地或 file:// 路径;S3/HF/NGC 只适合小型辅助输入,训练集应提前放到 Lustre。建议镜像先在 CPU 分区一次性转换为 .sqsh 并缓存,再让 GPU 作业引用文件,避免在分配内拉取镜像或下载数据;私有的 nvcr.io 镜像需要 ~/.config/enroot/.credentials。凭据应写入权限 600 的 sidecar,不要内联。
限制:启动主机只需 SSH,不需要本地 sbatch、srun、Enroot 或 Lustre 挂载。提交前需通过 lint 与语法检查;转换失败不应回退到镜像仓库。队列等待可能较长,不应按固定时长停止监控。资料未提供具体费用与集群清单,需以实际集群策略为准。