SuperAPI AI 工具集

evaluator-optimizer

测试与质量

查看项目

更新于 10-15 21:42

技能介绍

用途:通过受控迭代产出更可靠的输出。核心流程为:先定义通过/失败评分标准(rubric),生成候选输出,再依据标准评估;若通过则返回候选,若失败则根据反馈修订,重复直到满足停止条件。

主要能力与规则:生成者与评估者角色分离;评估者需返回分数、原因和修复提示;设定最大轮数;在通过、预算耗尽或分数停滞时停止;保存失败样例用于调整评分标准。可用的评估信号包括模式有效性、测试通过率、对来源事实的接地程度、风格合规、策略合规和排名分数。

输出格式:结果包含状态(pass | fail | stopped)、轮数、分数,以及最终输出和评估说明(原因与剩余风险)。

限制与失败模式:评估者过于宽松、评估者与生成者共享盲点、反馈不可操作、循环过拟合评分标准、缺少停止规则、高风险输出缺少人工复核路径。资料未提供具体安装命令、平台支持或收费信息。