SuperAPI AI 工具集

Skill 广场

找到适合任务的 Agent Skill,阅读介绍并复制安装命令。

更新于 10-19 00:11

测试与质量

12,318 个结果

nemo-evaluator-sdk

NeMo Evaluator SDK 是 NVIDIA 推出的企业级大语言模型评测工具,通过容器化、可复现的方式,在 100 多个基准测试和 18 个以上评测框架(harness)上评估 LLM,涵盖 MMLU、HumanEval、GSM8K、安全评测和视觉语言模型(VLM)任务。它支持多种执行后端,包括本地 Docker、Slurm HPC 集群和 Lepton 云。用户可通过 pip 安装 nemo-evaluator-launcher,配置 API 端点与评测任务后运行评测,并可将结果导出到 MLflow、Weights & Biases 或本地 JSON。适用于需要对 OpenAI 兼容 API(如 vLLM、TRT-LLM、NIM)进行大规模、可复现评测的场景。

测试与质量81 次安装