SuperAPI AI 工具集

evals-clarify

通用与其它

查看项目

更新于 10-16 00:20

技能介绍

用途:在已有草拟评估标准后,按 EDD 原则进行轴向编码,把相关失败模式聚类为评估主题,精炼标准、生成对抗样本,并将验证通过的草稿接纳进已发布的 goldset。

主要能力:输出聚类后的标准、对抗性示例、已发布 goldset(evals/{system}/goldset.md 与 goldset.json)、保留数据集(默认 20%),并自动交接给 /evals-implement 生成评分器。应用 EDD 原则:错误分析与模式发现、测试数据即代码、二元通过/失败、规格驱动契约。

使用方式:支持参数 --accept IDS、--merge IDS、--split ID、--holdout-ratio RATIO(默认 0.2,范围 0.1-0.3)。执行分阶段:检测轻量草稿格式并转换为完整模板(ADR/PDR/ChDR/CDR/EVAL);轴向编码聚类;精炼并生成每个标准 3-5 个对抗示例、平衡通过/失败比例;隔离 20% 保留集到 .adlc/memory/evals/holdout.json;发布 goldset 到 docs/adlc/memory/evals/ 并编译为 evals/{system}/goldset.md 与 goldset.json;自动触发 /evals-implement。

适用场景:/evals-specify 之后精炼并接纳草稿标准;数据集维护(平衡通过/失败示例或补充对抗案例);添加保留集以隔离验证数据。

限制:无草稿标准时不应使用,需先运行 /evals-specify;评分器生成应使用 /evals-implement。所有标准须严格二元,不使用置信度分数或李克特量表。保留集不得用于实现或训练。具体收费、平台与效果资料暂未提供。