SuperAPI AI 工具集

aep-gen-eval

智能体与模型

查看项目

更新于 10-16 00:28

技能介绍

用途:aep-gen-eval 定义可复用的生成器/评估器(generator/evaluator)模式,用于对智能体产出的工件进行诚实评估。核心理念是生成器与评估器必须是两个独立智能体,因为智能体在评估自己产出的工作时往往会自信地给出正面评价,即使质量明显一般。

主要能力与引用文件:该技能同时是一套参考库,消费者技能会读取其 references/ 文件。scoring-framework.md 提供维度定义(1-5 分)、硬失败阈值、维度预设(UI、API、安全、数据、混合)、少样本示例与反模式;agent-contracts.md 提供生成器/评估器角色分离、提示模板与上下文组装规则;eval-protocol.md 提供评估请求/响应格式、验证 JSON schema、评估循环与 needs-human 门记录;recovery-ladder.md 提供两轮恢复阶梯;findings-format.md 提供严重级别分类(blocking/important/minor)、去重与呈现格式;verification-economics.md 提供验证放置矩阵、失败分类、验证层级与核算。

使用方式:直接调用时对任意工件运行完整生成/评估循环。先识别工件(文档、代码变更、OpenSpec 变更或结构化文件),再选择执行模式(并行:生成器与评估器同时启动;顺序:生成器先行、评估器随后读取;循环:最多两轮,生成器可在轮次间修复)。随后读取 scoring-framework.md 选择匹配的预设或自定义维度,读取 agent-contracts.md 定制提示模板,最后读取 findings-format.md 汇总并归类问题,收敛到两种可核验终态之一:修复并重新评分,或将问题清单写入指定路径(如 <artifact-dir>/eval-findings.md)交下游处理。两轮后仍未解决的阻塞性发现按 recovery-ladder.md 升级。

适用场景:文档、设计、产品上下文、代码审查、活跃开发中的多轮修复,以及需要独立验证的其他工件。

限制:最多两轮修复;未直接说明独立使用时的完整端到端步骤细节以外信息暂未提供;未提供收费、平台支持或具体安装命令等信息。