Evals Start 是 ai-evals-course/evals-skills 插件的入口技能,用于把评测工作分发到各个有针对性的专项技能。它自身的职责很小:在下方路由表中找到与用户当前处境匹配的一行,告知用户正在加载哪个技能以及原因,然后加载该技能并从头到尾遵循其工作流,而不是自行发挥另做一套。
【用途】 当用户请求评测相关帮助、不知道从哪里开始,或所提需求不匹配插件中其他技能时,使用本技能进行路由判断。
【路由表】
- 已有 traces、想找出失败模式、尚无既定分类体系:加载 error-discovery。
- 已有现成评测管线、想知道它是否可信:加载 eval-audit。
- 已知失败模式、且该模式可用代码检查(如格式、schema、正则、执行):加载 write-code-eval。
- 已知失败模式、想为其使用 LLM judge:加载 write-judge-prompt。
- 已有 LLM judge 或评估器、想检查其质量:加载 validate-evaluator。
- 尚无 traces 可供审阅:加载 generate-synthetic-data,随后加载 error-discovery。
- 想为其他标注任务构建自定义标注界面:加载 build-review-interface。
- 想评测 RAG 管线:加载 evaluate-rag。
【使用经验提示】 大多数提及“手上已有 traces 的错误分析”类请求,意味着应使用 error-discovery。已有现成管线的新用户,通常需要先做 eval-audit。
【限制】 本文件只承载路由职责。当不确定哪一行匹配时,应向用户询问,而不是猜测。实际的工作流存在于被指向的各个专项技能中,本技能本身不提供评测流程细节。