SuperAPI AI 工具集

start

通用与其它

查看项目

更新于 10-15 22:33

技能介绍

用途:这是 evals-skills 插件的入口点,用于处理用户提出的评测(evals)相关请求,尤其是用户不知道从何入手,或请求不匹配插件中其他技能时。它只负责路由,不自行实现评测流程。

主要能力:根据用户情况匹配并加载对应技能,并告知用户正在加载哪个技能及原因。资料给出的对应关系包括:已有 traces、想找失败模式且尚无分类体系时加载 error-discovery;已有评测流水线、想判断其是否可信时加载 eval-audit;已知失败模式、想为其编写 LLM judge 时加载 write-judge-prompt;已有 LLM judge 或评估器、想检查其质量时加载 validate-evaluator;尚无 traces 可审查时先加载 generate-synthetic-data,再加载 error-discovery;想为其他标注任务构建自定义标注界面时加载 build-review-interface;想评测 RAG 流水线时加载 evaluate-rag。

使用方式:找到与用户情况匹配的一行,说明将加载哪个技能及原因,然后加载该技能并按其工作流从头到尾执行,而不是自行发挥。多数提到“手头有 traces 的错误分析”的请求通常指向 error-discovery;已有流水线的新用户通常先需要 eval-audit。

限制:本文件只包含路由逻辑,具体工作流位于目标技能中。若不确定哪一行匹配,应向用户询问,而不是猜测。资料未提供安装命令、收费或平台信息。