用途：NeMo Evaluator SDK 用于对大语言模型进行可复现的规模化评测，覆盖 18+ 评测框架、100+ 基准，包括 MMLU、GSM8K、HumanEval、IFEval、GPQA、安全评测（Aegis、WildGuard、garak）以及视觉语言任务（OCRBench、ChartQA、MMMU）。
主要能力：支持多后端执行（本地 Docker、Slurm HPC、Lepton 云）；评测 OpenAI 兼容接口（vLLM、TRT-LLM、NIM）；容器化保证可复现；结果可导出至 MLflow、Weights & Biases 或本地 JSON；提供 CLI 与 Python API 两种使用方式。
使用方式：安装 pip install nemo-evaluator-launcher；设置 export NGC_API_KEY=nvapi-your-key-here；编写 config.yaml 指定 execution、target.api_endpoint 与 evaluation.tasks；运行 nemo-evaluator-launcher run --config-dir . --config-name config。常用命令包括 nemo-evaluator-launcher ls tasks、status <id>、info <id>、ls runs、export <id>（mlflow/wandb/local）、kill <id>。可用 -o 覆盖参数，例如 -o execution.output_dir=./my_results 或 -o +evaluation.nemo_evaluator_config.config.params.limit_samples=10。Python 侧可调用 nemo_evaluator.core.evaluate.evaluate 与 api_dataclasses 配置。
适用场景：标准学术基准评测、Slurm 集群大规模评测、多模型对比、安全与 VLM 评测。
限制：需要 Python 3.10-3.13；本地执行依赖 Docker；拉取容器需 NGC API Key；部分基准需 HF_TOKEN 或 JUDGE_API_KEY。资料未提供具体收费、价格与性能数字。