用途:在定义质量指标之前,先通过人工主导的 trace 审查发现 AI 应用的失败模式。适合需要从真实执行记录中识别问题、建立失败分类的团队。
主要能力:支持托管或本地审查两种方式;可复用已有 trace 与审查笔记,按顺序寻找生产示例、投诉/事故、支持工单、专家示例和针对性合成变体;创建多样化发现样本,包含普通流量、随机探索和困难示例;在自然形态下展示完整行为,先做开放式记录,再保存带稳定标注和 trace ID 的人工观察;交替进行广度(新任务类型)和深度(已知失败的更多实例)审查;可选将单个类别委托给后台分析器寻找候选,但建议不会自动成为人工真值;跟踪已确认与建议发现、审查覆盖和新类别发现;暂停后提出下一步缺失覆盖或整理步骤。
使用方式:阅读操作协议、数据来源和所选审查面;阅读 toolkit setup 获取本地工具和确切命令;运行该技能的工作区安装器,它会保留已有自定义文件。在拉取内容前询问未解决的来源访问和保留问题;在新托管连接前检查一次真实执行。十五到二十五个示例可启动审查,但停止或增长应基于发现饱和度和领域广度,而非固定数量。
限制:不要无限期监控,也不要声称后台观察器在会话结束后仍持续存在;本地自动保存必须独立于代理工作;下一轮从保存的标注和修订 ID 恢复。交付物包括已审查样本、持久人工笔记、临时主题和链接到源 trace 的覆盖缺口;发现计数与流行度估计需分开。若已安装 eval-error-analysis,可用其将标注整合为已审查的失败分类;否则用保存的证据描述下一步结果。在创建评分器前确认失败定义。