SuperAPI AI 工具集

judge

测试与质量

查看项目

更新于 10-15 17:21

技能介绍

用途:judge 是质量审查与评估技能,用于依据既定标准核验已完成的工作,属于两层多智能体架构中的评审环节,由 judge 评估 worker 的输出。

主要能力:输入已完成的工作产出(文件、改动、产物)、原始验收标准或成功标准,以及关于尝试内容的上下文;输出通过/未通过判定、发现的问题清单,以及失败时的修复建议。成功标准包括:评估所有验收标准、给出清晰的通过/未通过判定、对失败提供可执行的反馈。

使用方式:在原子技能完成后、标记工作完成之前调用;在提交前作为最终质量门禁;在构建/测试阶段之后核验实现是否符合规格;审查生成的代码时在集成前发现问题。审查流程分为:第一步收集上下文(产出、标准、范围);第二步逐条对照验收标准评估,记录证据(文件路径、行号、测试结果);第三步按工作类型应用审查维度。代码改动看正确性、完整性、质量、风格、范围;文档生成看准确性、完整性、格式、清晰度;基础设施改动看功能、安全、幂等性、文档。

问题严重级别:Critical(阻断功能、安全问题、数据丢失风险,必须修复后才能继续)、Major(显著偏离规格或体验差,应在提交前修复)、Minor(风格或小改进,可留待后续)。

判定结果:PASS 表示所有标准满足且无严重问题,可继续;FAIL 表示存在严重问题或验收标准未满足,必须修订,并需提供具体问题位置、修复建议和未通过的标准;PASS WITH NOTES 表示标准满足但存在小问题,可在知悉的情况下继续。

适用场景:与编排器集成时形成 planner/worker/judge 模式——编排器调用原子技能产出工作,调用 judge 评估;通过则进入下一阶段,失败则带反馈返回上一技能。

限制:不适合琐碎改动(单行修复、拼写更正)、工作流中途(应在阶段边界评审,不打断原子技能)、快速迭代且明确跳过审查的探索性工作,以及用户明确要求跳过审查的情况。快速审查清单包括:所有验收标准已处理、无明显 bug 或错误、遵循项目约定、无范围蔓延、可提交/继续。详细审查标准见 references/review-criteria.md。