SuperAPI AI 工具集

surrogate-verifier

测试与质量

查看项目

更新于 10-16 00:20

技能介绍

用途:为技能包生成结构化测试断言,并在断言失败时输出失败诊断,用于评估技能定义与任务提示是否匹配。

主要能力:

  1. 断言生成(模式一):读取 SKILL.md,提取声明能力、输出格式、错误处理、前置条件与触发边界,再针对每个任务提示生成 5-10 条断言,覆盖输出完整性、格式合规、事实信号、工具调用与负向约束五个维度,并按维度分配权重(完整性 1.0、格式 0.8、事实 0.6、工具 0.5、负向 0.3),输出为 evals/cases.yaml 的 schema 格式。
  2. 失败诊断(模式二):当 oracle 返回 fail 时,对失败断言做根因分类(缺失能力、格式不匹配、输出不完整、幻觉内容、工具使用错误、部分成功),分析 SKILL.md 中对应承诺与输出差距,给出可执行的修复建议,并输出结构化诊断字符串。

信息隔离协议:验证器不得访问生成器的对话历史、推理链、先前迭代或内部笔记,只接收 SKILL.md、任务提示、技能输出与断言结果。调用时应放入独立 Agent 会话(如 isolation: "worktree")并以显式文本传递产物。

预算参数:上下文上限 0.7(70% 上下文窗口),每轮 oracle 最多 15 次 surrogate 重试,最多 5 轮 oracle(由编排 agent 管理,验证器自身不跟踪预算)。

限制:无执行能力,断言由 scripts/run_evals.py 执行;仅支持文本验证,无法验证视觉输出、交互行为或副作用;每次验证独立、不记忆先前轮次;5 种断言类型不覆盖所有验证需求,自定义类型需扩展 scripts/eval_assertions.py。

错误处理:技能定义过大时仅摘要工作流阶段与输出格式;无法生成断言时返回空列表并警告;输出格式不明确时默认使用 contains 断言;超出上下文上限时截断诊断细节但保留失败断言列表。