NeMo Evaluator SDK 是用于企业级大语言模型基准评测的工具。其命令行入口为 nemo-evaluator-launcher，通过容器化方式提供可复现的评测流程，并支持多种执行后端（本地 Docker、Slurm HPC、Lepton 云）。在资料中，它明确支持“多后端执行”，并说明评测可基于 OpenAI 兼容端点（如 vLLM、TRT-LLM、NIM）进行。
主要能力
- 基准覆盖：资料称可覆盖 100+ 基准，来自 18+ 评测框架。列出的框架与任务包括：lm-evaluation-harness（60+，MMLU、GSM8K、HellaSwag、ARC 等）、simple-evals（20+，GPQA、MATH、AIME）、bigcode-evaluation-harness（25+，HumanEval、MBPP、MultiPL-E）、safety-harness（Aegis、WildGuard）、garak（安全探测）、vlmevalkit（OCRBench、ChartQA、MMMU 等 6+）、bfcl（函数调用 v2/v3，6 项）、mtbench（多轮对话）、livecodebench（实时编程评测 10+）、helm（医疗领域 15 项）、nemo-skills（数学、科学、智能体 8 项）。
- 执行后端：支持本地 Docker、Slurm HPC 和云执行；配置中可以指定 execution 为 local 或 slurm，并可设置 Slurm 的 hostname、account、partition、walltime、nodes、gpus_per_node 等参数。
- 模型部署：配置中可选择 deployment 为 none 或 vllm；使用 vllm 时可以设置 checkpoint_path、tensor_parallel_size、data_parallel_size、max_model_len，并按部署自动生成端点 URL。
- 结果管理：使用 status、info、ls runs 等命令查看任务状态与运行记录；使用 export 将结果导出至 MLflow、Weights & Biases 或本地 JSON。
- 评测控制：可通过配置覆盖调整 temperature、parallelism、limit_samples、num_fewshot、max_new_tokens 等参数，也支持动态设置任务列表。
- 安全与视觉语言评测：资料列出安全任务包括 aegis、wildguard、garak；VLM 任务包括 ocrbench、chartqa、mmmu，并可将 target.api_endpoint.type 设为 vlm。
使用方式 安装：pip install nemo-evaluator-launcher 设置密钥：export NGC_API_KEY=nvapi-your-key-here 创建 config.yaml（包含 defaults、execution.output_dir、target.api_endpoint（model_id、url、api_key_name），以及 evaluation.tasks），然后运行： nemo-evaluator-launcher run --config-dir . --config-name config 查看可用任务：nemo-evaluator-launcher ls tasks 除 CLI 外，资料还给出 Python API 示例：从 nemo_evaluator.core.evaluate 导入 evaluate，从 nemo_evaluator.api.api_dataclasses 导入 EvaluationConfig、EvaluationTarget、ApiEndpoint、EndpointType、ConfigParams，配置后调用 evaluate。
适用场景
- 在统一平台运行 100+ 基准、18+ 评测框架的评测。
- 在 Slurm HPC 集群或云上执行大规模评测。
- 需要容器化、可复现评测的团队。
- 评测 OpenAI 兼容 API（vLLM、TRT-LLM、NIM）。
- 需要将结果导出到 MLflow 或 W&B 的企业级评测。 资料还给出与其他工具的取舍：快速本地评测可选 lm-evaluation-harness；仅代码基准可选 bigcode-evaluation-harness；更广泛的公平性与效率评测可选 HELM；高度专门的领域评测可用自定义脚本。
限制与要求 Python 3.10–3.13；本地执行需要 Docker；拉取容器与使用 NVIDIA Build 需要 NGC API Key；部分基准（GPQA、MMLU）需要 HF_TOKEN。资料提到若容器拉取失败，可执行 docker login nvcr.io -u '$oauthtoken' -p $NGC_API_KEY。评测超时可通过提高 parallelism 或减少样本缓解；Slurm 作业不启动时需检查 account、partition、qos。资料还提示，结果与预期不同时应核对 temperature、num_fewshot 等设置。关于价格、是否开源许可、平台上限等细节，资料暂未提供。