用途:该技能用于 NeMo AutoModel 的作业启动机制配置,涵盖交互式执行、Slurm、SkyPilot、容器、挂载、环境变量、分布式会合设置与性能分析。不用于实现或注册新模型架构、Hugging Face state-dict 适配器、模型文件或能力开关,这些属于模型接入任务。
三种启动方式:交互式(默认)在当前节点运行 torchrun,适合单节点开发调试;Slurm 向 HPC 集群调度器提交批作业,处理多节点、容器与环境配置;SkyPilot 向 AWS、GCP、Azure、Lambda 或 Kubernetes 做云无关提交,支持 spot 实例。交互式无需额外 YAML 段,配置中没有 slurm: 或 skypilot: 段时 CLI 自动走 torchrun。示例:automodel finetune llm -c config.yaml;多 GPU:torchrun --nproc_per_node=8 -m nemo_automodel._cli.app finetune llm -c config.yaml。
Slurm 配置:SlurmConfig 由模板生成 SBATCH 脚本。字段包括 job_name、nodes、ntasks_per_node、time(HH:MM:SS)、account、partition、container_image、nemo_mount、hf_home、extra_mounts(VolumeMapping(source, dest))、master_port(默认 13742)、env_vars、nsys_enabled。
SkyPilot 配置:SkyPilotConfig 字段包括 cloud(aws、gcp、azure、lambda、kubernetes)、accelerators(如 "H100:8"、"A100-80GB:4")、num_nodes、use_spot、disk_size、region、setup、env_vars。使用 spot 时应在配方中设置较短的 step_scheduler.checkpoint_interval,并用 restore_from.path 从最近检查点恢复。
多节点环境:启动器自动配置 MASTER_ADDR、MASTER_PORT、WORLD_SIZE(nodes * ntasks_per_node)及 NCCL 环境变量。
Nsight Systems:在 Slurm 中设 nsys_enabled: true,启动器用 nsys profile 包裹训练命令并生成 .nsys-rep 报告文件,写入 Slurm 作业工作或输出目录。该功能仅供诊断,有额外开销且产物大,生产训练应关闭。
注意事项:master_port 冲突需修改;extra_mounts 源路径必须在所有节点存在;容错插件仅限 Slurm;spot 实例可能被抢占;YAML 中环境变量需用 ${VAR} 语法;Slurm 时限过短可能中断异步检查点写入。
分类:属于 AI 工具技能配置,无法归入既有明确分类。