SuperAPI AI 工具集

nat-evaluation

测试与质量

查看项目

更新于 10-16 02:34

技能介绍

用途:该技能用于衡量智能体的质量与行为,适用于设计、配置、运行或排查 NeMo Agent Toolkit 评估(nat eval)相关任务,包括数据集、评估器选择、ATIF 评估面与质量门禁。

主要能力与工作流:先确定评估面与输出格式;将质量目标拆解为相互独立的评估器;优先选用内置评估器,再考虑编写自定义评估器;本地验证时保持数据集小而明确;运行 nat eval 并检查生成的产物。

参考文档:技能附带 references/operating-mode.md、references/methodology.md、references/agent-eval-framework.md、references/evaluation-surfaces.md、references/evaluation-contract.md、references/evaluators/、references/code-patterns.md,用于了解运行模式、方法论、评估框架、评估面、评估契约、评估器与代码模式。

限制:资料未提供具体评估器清单、数据集格式、命令参数、指标定义、平台支持与收费信息,需查阅上述参考文档或官方资料确认。