SuperAPI AI 工具集

evals-specify

测试与质量

查看项目

更新于 10-16 00:20

技能介绍

用途:evals-specify 依据 EDD 原则 III 与 IX,对系统失败进行自下而上的错误分析,从人工观察中提炼并记录草稿评估标准。适用于尚无评估标准、需从失败日志中发现标准,或需对生产事故、边界条件做系统分析的场景。

主要能力:对 trace 做开放式编码,发现反复出现的失败模式,识别核心问题、因果条件与后果;将模式归组为草稿标准,为每条定义严格二元的通过条件与失败条件,并从 trace 中记录真实通过/失败示例;生成草稿文件与索引,并自动移交给 /evals-clarify 做轴向编码与聚类。

使用方式:输入具体失败领域或错误模式,如“authentication bypass”“RAG irrelevant results”。支持参数 --traces N(分析 trace 数量,默认 20,为理论饱和最小值)与 --source SOURCE(trace 来源,如 logs、support tickets)。流程分四阶段:开放式编码分析、创建草稿标准、创建草稿文件(将 eval-criterion-template.md 复制为 .adlc/drafts/evals/EVAL-{NNN}.md 并填充元数据与错误分析笔记,重建 .adlc/drafts/evals/evals.md 索引)、自动移交 /evals-clarify。

验证:草稿文件位于 .adlc/drafts/evals/EVAL-*.md,索引已更新,每份草稿含 status "draft"、通过/失败条件、trace 来源与具体示例,并生成含草稿列表的移交上下文。

限制:无失败 trace 或规格时不应使用,需先生成合成 trace 或用 /evals-init 建立安全基线;若标准已存在,应改用 /evals-clarify 细化或 /evals-implement 生成代码。常规决策捕获由 team-boot 的持续捕获机制处理,本技能用于交互式深度探索。