用途:通过 nemo-evaluator-launcher CLI(简称 nel)运行、监控、分析和调试 LLM 评测,按顺序执行配置、运行、监控、事后处理流程。
主要能力与用法:运行评测可用 uv run nemo-evaluator-launcher run --config <path.yaml>,可用 -t 指定单个或多个任务,用 -o 覆盖参数(如 evaluation.nemo_evaluator_config.config.params.limit_samples=10);--dry-run 可预览解析后的配置和 sbatch 脚本而不实际运行。用 nel status <invocation_id> --json 查看状态,nel info <invocation_id> 获取输出路径、Slurm 作业 ID、集群主机名等,并可用 --copy-logs 复制日志。失败或中断的运行可用 nel resume <invocation_id> 恢复;nel ls runs --since 1d 列出历史运行;nel ls tasks 列出可用评测任务,可用 --from_container 指定容器,如 nvcr.io/nvidia/eval-factory/simple-evals:26.03。
流程要求:先用 nel-assistant 技能创建或修改配置(可参考历史运行的 config.yml),运行后必须反复轮询状态直至 SUCCESS/FAILED;SUCCESS 时分析结果,FAILED 时调试失败运行。产物路径建议用 nel info 发现,远程时通过 SSH 查看、rsync 只取所需文件。
关键事实与限制:PPP 指 Slurm 账户/项目组合代码;NEL 提交成对 Slurm 作业(RUNNING 加 PENDING 重启作业),不要取消待重启作业。配置 HF_HUB_OFFLINE=1 时需预先在各集群下载模型到 HF 缓存,否则 vLLM 会报 LocalEntryNotFoundError。data_parallel_size 是按节点计。payload_modifier 的 params_to_remove 会移除指定字段以解除输出长度限制。导出容器 python:3.12-slim 缺少 git,需在 launcher_install_cmd 中先安装 git。不要用 export --dest local,它只写摘要 JSON 而不复制日志或产物。其余未在资料中说明的功能、收费与平台暂未提供。