write-judge-prompt
这是一个用于设计 LLM-as-Judge 评估器的技能,专门针对代码检查无法处理的、需要语义理解的主观性评判标准。当某个失败模式需要解读(如语气、风格、意图等)时使用。该技能指导为某一个具体的失败模式构建二元的 Pass/Fail 评判提示词,每个评判器只检查一件事。核心流程包括:前置条件(错误分析已完成、失败模式已识别、拥有至少 20 个 Pass 和 20 个 Fail 的人工标注样本、且代码评估器无法检查该模式);四个必需组件(任务与评估标准、Pass/Fail 定义、Few-Shot 示例、结构化输出格式);并强调二元判定、批判先于结论、示例需来自训练集以避免数据泄漏。