SuperAPI AI 工具集

judge-verification

智能体与模型

查看项目

更新于 10-16 07:24

技能介绍

用途:Judge Verification 为任务完成提供独立 LLM 评估层,验证任务是否真正完成。它审查原始任务目标、已执行动作序列、相关产物的最终状态以及声称的完成证据,然后给出 PASS/FAIL 判定、置信度分数和可执行的推理。该技能与 verification-before-completion 不同:后者在同一智能体上下文中运行检查清单;judge-verification 使用全新独立视角,不访问执行智能体的先前推理,可捕获幻觉式成功声明。

适用时机:任务声称完成但看不到测试输出、diff 或产物;高风险任务(安全修复、数据迁移、API 变更)需要独立签核;完成元数据与所述工作不一致;verification-before-completion 通过但无人审;循环检测强制完成触发(部分完成需评判)。

主要能力与用法:调用方式为 Skill({ skill: 'judge-verification' });,输入需包含 taskId 和 taskGoal,执行前由 hooks/pre-execute.cjs 校验,执行后由 hooks/post-execute.cjs 向 tool-events.jsonl 发出事件。评判围绕四个维度各 0-25 分:目标一致性、动作完整性、完成证据、最终状态一致性。总分 >=70 且 dim3>=15 为 PASS;总分 <70 或 dim3<15 为 FAIL;总分 60-69 且 dim3>=15 为 CONDITIONAL(需人工复核)。输出结构化 JSON,含 verdict、confidence、totalScore、dimensions、reasoning、failureReasons、recommendations。

限制:评判者不得接触执行智能体的推理或内部笔记;没有非零 dim3 证据分不得给出 PASS;不得评判尚未调用 TaskUpdate(completed) 的任务;安全敏感任务不得跳过该技能。FAIL 时不应标记任务完成,需将失败原因写入 issues.md 并通知发起方;CONDITIONAL 时标记为 blocked,blockerType: 'review'。缺失的收费、价格、平台与效果信息暂未提供。