用途：NeMo Evaluator 是 NVIDIA 推出的大模型评测 SDK，用于在多后端上运行可复现的基准测试，适合需要跨 18+ 测试框架、100+ 基准评估 LLM 的场景，也适用于 Slurm HPC 集群和不兼容 OpenAI 接口的模型。
主要能力：支持 lm-evaluation-harness（60+ 任务，如 MMLU、GSM8K、HellaSwag、ARC）、simple-evals（20+，如 GPQA、MATH、AIME）、bigcode-evaluation-harness（25+，如 HumanEval、MBPP、MultiPL-E）、safety-harness（Aegis、WildGuard）、vlmevalkit（OCRBench、ChartQA、MMMU）以及 bfcl 函数调用。可通过 YAML 配置目标 API、任务列表和运行方式，支持本地 Docker、Slurm 和 Lepton 云执行，结果可导出到 MLflow、W&B 或本地。
使用方式：安装命令为 pip install nemo-evaluator-launcher。设置 export NGC_API_KEY=nvapi-your-key-here 后，创建 config.yaml 指定执行方式、输出目录、目标模型 API（如 NVIDIA Build 的 https://integrate.api.nvidia.com/v1/chat/completions 或本地 vLLM/TRT-LLM）和评测任务，例如 ifeval，然后运行 nemo-evaluator-launcher run --config-dir . --config-name config。可用 status <invocation_id> 查看状态，用 export <id> --dest mlflow/wandb 导出结果，用 ls tasks、ls runs、kill <id> 管理任务。对比模型时可通过 -o target.api_endpoint.model_id=... 覆盖配置。
限制与要求：需要 Python 3.10–3.13；本地执行需 Docker；使用 NVIDIA Build 需要 NGC API Key；部分基准需要 HF_TOKEN。容器拉取失败时需配置 NGC 凭据（docker login nvcr.io）。资料未提供价格、准确率或性能承诺信息。