LLM-as-judge 是一个技能,用于评估那些无法用确定性测试验证的主观质量标准,例如语气、视觉美感、用户体验感受、文档清晰度和代码可读性。它通过定义评分量规,让 LLM 评审员进行结构化、可重复的评估,从而一致地衡量主观质量。
用途:当评估需要判断而非布尔断言时使用。若可写布尔断言,应使用确定性测试。该技能通过四阶段流程运作。
阶段一:判断评估方法。确认标准确实主观、确定性测试已被排除、并已确定待评估的具体产物后方可继续。
阶段二:定义量规。定义 3-5 个评估维度、分配权重(总和须为 1.0)、为每个维度定义锚点(1=最差,5=合格,10=最佳),并设定通过阈值。阈值可选用最低可行 5.0、生产质量 7.0、卓越 8.5。须在评估前设定阈值。
阶段三:评估。将产物与量规提交给 LLM 评审员。评审请求包含 criteria、artifact、rubric(含 dimension、weight、description)、passing_threshold 和 intelligence 字段。评审响应包含每个维度的 scores、reasoning、加权总分、pass、summary 和 suggestions。须为每个评分提供理由并计算加权总分。
阶段四:迭代或接受。通过则接受;临界失败(1 分以内)应用建议并重新评估一次;明显失败(低于 1 分以上)进行重大修订并应用所有建议,最多两次;重复失败(3 次以上)则升级,可能需要调整量规或方法。
该技能提供多种常用量规模板,包括文档质量(清晰度 0.3、准确性 0.3、完整性 0.2、示例 0.2,阈值 7.0)、错误消息质量(帮助性 0.4、清晰度 0.3、语气 0.2、可操作性 0.1,阈值 7.5)、代码可读性(命名 0.3、结构 0.3、简洁性 0.2、文档 0.2,阈值 7.0)以及 UX 文案(清晰度 0.3、简洁性 0.2、语气 0.2、可操作性 0.2、无障碍性 0.1,阈值 7.5)。
常见反模式包括:对可测量标准使用 LLM 评审、量规维度模糊、未定义通过阈值、为通过而调整量规、单次评估无理由、使用较弱模型评估、变更后跳过重新评估。该技能可与验收测试、规格编写、代码审查、完成前验证等集成,用于处理主观验收标准。