SuperAPI AI 工具集

evaluation

智能体与模型

查看项目

更新于 10-16 07:24

技能介绍

用途:该技能用于评估量化与未量化大语言模型的精度,基于 NeMo Evaluator Launcher(NEL),通常作为 PTQ → Deploy → Eval 流程的最后阶段。

主要能力:引导用户创建 NEL YAML 配置、运行评估、监控进度,并支持工作区复用(当 MODELOPT_WORKSPACE_ROOT 已设置时)。标准工作流包含:检查工作区、检查 nel 安装与现有配置、构建基础配置、配置部署、填写剩余参数、确认任务、多节点、拦截器、容器认证、dry-run → canary → full run、验证运行完成。

分支路径:部分 agentic AA 基准(如 Terminal-Bench 2.x、SWE-bench)不走 0.2.6 流程,而使用 nel-next(nemo-evaluator[harbor] 0.4.x),需阅读 references/nel-next.md 与对应 recipes,并用 "$SKILL_DIR/scripts/nel-next.sh" --setup-only 建独立 venv;MRCR 走 NeMo Gym simple_agent 路径,用 gym 任务、确定性前缀门控评分,需 HF_TOKEN,并用 "$SKILL_DIR/scripts/nel-gym.sh" 执行。

使用方式与限制:运行前需检查 nel 安装、设置 .env(判分任务加 modelopttools:eval-config),保留 dry-run → canary → full-run 门控;已有配置可从 Step 8 开始。长上下文部署、多节点、SLURM 私有镜像认证等细节按需阅读对应参考章节。评分前须先读 run-validation.md 验证日志与样本覆盖。缺失事实:具体安装命令、版本、费用与平台要求暂未提供。