用途:把系统已暴露的真实失败模式转化为 LLM-as-a-judge 评判提示词,而非依赖通用评分标准。它是评估工作流的第 4 步(前一步 llm-eval-type-selector,后一步 llm-judge-alignment)。
主要能力:接收 llm-issue-discovery 的问题报告(首选)或带人工评分与备注的标注轨迹;先读取项目中的上下文文档(如 CLAUDE.md、product-marketing-context.md)以跳过已回答的问题;逐条判断问题该用 LLM 评判还是程序化规则(结构、确定性、正则、长度类用规则;语气、语义正确性、完整性、忠实度、意图类用评判);每个维度生成一个独立、自包含的评判提示词,包含检查项、1-5 分评分量表、真实示例与必须给出的理由;最终输出汇总表、每个评判的独立代码块及使用说明。
使用方式:提供问题报告或标注轨迹,并用一句话说明该 AI 的用途;对规则类问题也需给出一行检查说明。评判提示词使用 {{INPUT}} 与 {{OUTPUT}} 占位符,要求返回 Score 与 Reasoning。
限制:评判是概率性的,可能出错、有偏差、跨运行不一致,必须先用人工标注样本验证;建议使用与被评估模型不同的模型以避免自评偏差;需每 4-6 周或提示词重大变更后重新校准。若只有标注轨迹而无问题发现,建议先在更大日志样本上运行 llm-issue-discovery。具体模型名称、价格与平台信息暂未提供。