SuperAPI AI 工具集

nemo-evaluator-plugin

智能体与模型

查看项目

更新于 10-16 02:33

技能介绍

用途:该技能帮助选择评估接口与指标,验证最小示例,提交 NeMo Platform 评估作业并获取结果,涵盖数据集驱动与任务驱动两类评估。

主要能力:区分数据集驱动(dataset-driven)与任务驱动(task-driven)智能体评估;支持独立 SDK 评估或持久化平台作业;按行为选择指标(优先确定性指标);支持指标、任务、任务集与结果索引的复用定义;支持数据集字段映射、行级输出与聚合查看。评估执行接口包括 nemo_evaluator_sdk.Evaluator(快速指标迭代,不依赖平台)、client.evaluator.submit(...) 或 nemo evaluator evaluate submit(数据集驱动平台作业,含多指标引用与 EvaluateInputSpec)、nemo evaluator agent-evaluate submit(任务驱动平台作业)。

使用方式:输入需先确定评估接口、执行接口、最小通过/失败数据集样例、指标与目标。先用一行通过、一行失败的冒烟用例验证指标行为,检查行级输出与聚合,修正字段映射、提示词、解析器或任务定义,再提交平台作业。常用 CLI:uv run nemo evaluator info(确认插件就绪并列作业)、metric-types(列指标名,加指标名可打印其 schema)、evaluate explain 与 agent-evaluate explain(打印输入输出 schema,可能非常大,慎用以免占满上下文)。作业完成后需调用 job.wait_until_done() 再取结果或下载产物。任务驱动评估中 AgentEvaluator().run(...) 目标可为 Model、GenericAgent 或 AgentTaskRunner;平台作业目标为 ModelTarget、AgentTarget、CodexRunnerTarget、FabricRunnerTarget 或 HarborRunnerTarget,也可传预计算 trials,target 与 trials 只能二选一。

限制:本地执行路径 client.evaluator.run() 与 nemo evaluator ... run CLI 正被淘汰,不应据此构建,快速迭代请改用 nemo_evaluator_sdk.Evaluator。api_key_secret 在独立 SDK 中是环境变量名,提交时是平台 secret 名;提交返回 HTTP 409 常表示引用的平台 secret 缺失,而非重复作业;intent 为评分器元数据,不会展示给智能体,仅 inputs 到达智能体;指标模板中数据集行用 item.,智能体评估用 reference.、sample.、inputs.;指标进度可能先到 100% 而后作业才终止。切勿打印、序列化或提交机密值,仅存环境变量名或平台 secret 引用。Fabric 运行需可选 harness 适配器与匹配的 Relay 网关,安装脚本会下载校验过的 nemo-relay 二进制并需将其目录加入 PATH。其他细节(如具体价格、性能等)暂未提供。