SuperAPI AI 工具集

config-evals

智能体与模型

查看项目

更新于 10-16 01:33

技能介绍

用途:该技能通过 eval-config 工具给 n8n 工作流附加“基于配置的评测”。配置项包括名称、起始节点、结束节点、一个或多个评判指标,以及一个 Data Table 数据集。配置不落在画布上,而是通过 evaluation-config API 以离画布方式保存。技能明确要求只使用这种配置式评测,不要添加、读取、改写或推理画布内的评测节点(EvaluationTrigger、Evaluation/checkIfEvaluating/setOutputs/setMetrics);若用户要求这些,应改为构建配置式评测。

必要要素:name(可读名称);startNodeName(运行起点,接收一行测试输入,必须是有入边的节点,绝不能是触发器,因为评测运行会用数据集驱动的触发器替换原触发器);endNodeName(其输出被评判的节点);dataTableId(存放测试数据集的 Data Table,需先用 data-tables 工具创建并填充,再按 id 关联);metrics(一个或多个评判指标)。

默认流程:识别并读取目标工作流,追踪从触发器到产出答案节点的主路径;选定起止节点;通过 data-tables(action="list") 找到现有数据集,或先用 data-tables 创建并填充,不得臆造 dataTableId;选择指标并构建 actualAnswer / expectedAnswer / userQuery 表达式;调用 eval-config(action="create"),修改已有配置时用 update;工具会自动显示审批卡,调用并遵循结果,无需先请求聊天审批;最后说明评测名称、工作流、起止节点、数据集名称与 id 以及配置的指标。

指标:每个指标由 LLM 评判,需 judge 模型(credentialId、model、outputType,默认 numeric,也可 boolean)。工作流已有合适 LLM 凭据可复用。除非确知 chat-model 节点类型,否则不要设置 provider,它由所传凭据自动推导。预设包括 correctness(需 expectedAnswer)与 helpfulness(需 userQuery);每个指标都需 actualAnswer。三者均为 ={{ $json.<name> }} 形式的 n8n 表达式,字段必须以 = 开头,否则会被当作字面文本。

数据集:用 data-tables 构建,每个变化输入一列,使用 correctness 时再加真实答案列。config 仅按 dataTableId 引用数据集,eval-config 不创建或填充行。不要为迁就单薄数据集而削弱评测。更多细节见 references/config-eval-playbook.md。