用途:错误分析指阅读系统输出以弄清它如何失败,范围较广。该插件把工作拆分为多个定向技能;此入口只负责路由,不自行实现分析流程。
主要能力:依据用户情况选择对应技能并加载。有追踪数据、想找出失败模式且尚无既定分类法时,加载 error-discovery;已有评估流程并想判断其是否可信时,加载 eval-audit;已知某失败模式并想为其编写 LLM 评判器时,加载 write-judge-prompt;已有 LLM 评判器或评估器并想检查其质量时,加载 validate-evaluator;尚无追踪数据可审查时,先加载 generate-synthetic-data,再加载 error-discovery;想为其他标注任务构建自定义标注界面时,加载 build-review-interface;想评估 RAG 流程时,加载 evaluate-rag。
使用方式:找到与用户情况匹配的那一行,告知用户正在加载哪个技能及原因,然后加载该技能并从头到尾遵循其工作流,不要自行发挥替代版本。多数带追踪数据的“错误分析”请求通常指向 error-discovery。若不确定哪一行合适,应询问用户而非猜测;具体工作流位于目标技能中。
限制:本文件仅保存路由信息,不包含分析流程本身。其他细节暂未提供。