SuperAPI AI 工具集

failure-taxonomy

智能体与模型

查看项目

更新于 10-16 00:05

技能介绍

用途:该技能用于 LLM 评估流程中的轴向编码环节。当用户已经完成开放式编码(阅读 LLM 流水线 trace 并写下自由文本笔记,记录“首次失败点”)后,用它把这些零散观察整理成有组织、可操作的失败模式分类体系。

主要能力:读取 JSON、CSV 或粘贴文本形式的标注(字段如 trace_id、annotation/note,可选 pass_fail、trace_summary、query 或完整 trace);先通读全部标注,再聚类为 3–7 个互不重叠的失败模式;每个模式给出 2–5 词标题、一行定义和 2–3 条代表性示例;随后把分类体系回标到每条 trace,为每个失败模式赋 1 或 0;最后统计各模式的计数、占比并排序。

使用方式:按五步工作流进行——摄入并理解标注、起草失败模式聚类、通过讨论迭代细化、回标 trace、量化并排优先级。分类以表格形式呈现,列为编号、失败模式、定义、示例标注。输出最多三件产物:分类定义(始终产出)、重标注数据集(提供输入 trace 时产出)、汇总统计(完成回标后产出)。标注超过 30 条时,可用 LLM 辅助提出初始分组,但结果必须交由用户审阅调整。

适用场景:LLM 流水线评估、构建 LLM-as-Judge 评估器(每个失败模式对应一个二元评估提示,示例作为少样本示例)、指导针对性流水线改进、为稀有失败模式合成更多触发样本。

限制:分类必须二元,不使用 Likert 量表或严重度评分;应避免通用 LLM 研究术语(如 hallucination、verbosity),改用应用领域词汇;类别过多(如 30 条标注得出 10+ 模式)说明切分过细;分类体系应允许迭代演进,不宜过早冻结;每个定义都需具体示例。频率不单独决定优先级,需询问用户按业务影响加权。详细输出模式与文件格式见 references/output-formats.md。