SuperAPI AI 工具集

eval-error-analysis

通用与其它

查看项目

更新于 10-15 20:27

技能介绍

用途:当已有审核标注(review notes)时,把标注聚成与证据关联的失败模式(failure modes),与审核者一起细化分类体系,并对错误排优先级。

主要能力:先读取审核规范与分析流程;定位现有标注、其来源 trace、抽样规则与分类体系修订,保留原始记录及作者/状态信息,分组前先查看标注背后行为。按可观察失败与预期行为分组,语义搜索或 embedding 仅用于找候选近邻,成员归属须看证据;相似措辞可能描述不同失败,不同措辞可能描述同一失败。

每个模式给出稳定 ID、清晰定义、纳入/排除规则、代表性证据与边界示例;允许一条标注属于多个模式,并设未解决队列。区分观察到的症状与假设的根因,不强行把每条记录塞进某类,也不把“幻觉”这类宽泛标签当作可执行分类。将分组与原始标注和 trace 并列展示,让审核者合并、拆分、重命名、移动、拒绝和确认;保留修订历史与审核决定。人工确认某类别不等于自动确认所有归属,也不产生逐条 Pass/Fail 标签。

优先级:按模式统计不同案例数,说明审核分母与抽样目的,多标签计数可重叠;结合观察频率、产品影响与不确定性排序,罕见但严重的失败仍要可见,不得由发现样本推断生产发生率。输出带版本的分类体系、标注到模式的映射、未解决项与简要分析报告;改动 UI 时验证证据链接及保存/重载/导出行为。已确认模式可交给案例整理与评分器设计(如已安装 eval-dataset 与 eval-grade),有可信基线时用排序后的开发失败指导 eval-descent,并把留出证据排除在优化循环外。

限制:需已有可用的审核标注,否则只能先准备审核队列;无人工观察时使用 eval-discover(若已安装)产生的观察仍属建议。具体安装命令与打包工具命令需查阅 toolkit setup 相关内容,本资料未提供具体命令原文。