用途：为开放式智能体输出（摘要、草稿、计划、重构等）设计可校准的 LLM 评审打分方案，并判断何时应改用确定性规则或小分类器。
主要能力：区分成对（pairwise）与单点（pointwise）评分；识别并纠正四类偏差——位置偏差、长度/啰嗦奖励、自偏好、格式风格偏差；给出决策流程：可确定性打分则用规则/正则/精确匹配，离散分类用小分类器，开放式输出才用评审模型并做校准；比较两个候选时成对优于单点，评分超过两个候选时用成对锦标赛而非单点扫描。
使用方式：成对评分需每次调用随机化顺序、同一次调用中同时呈现两个候选、允许平局、固定“先打分后解释”或“先解释后打分”的顺序；单点评分需为每个分数档提供锚点示例、使用 1–5 或 1–7 的小序数刻度、每次只评一个维度、避免“整体评分”。评审模型本身需做元评估：与人类在 ≥50 个样本上的一致率（Cohen's kappa 或百分比一致率，低于 0.6 视为未就绪）、两个模型版本间的评审一致性、以及交换位置/归一化长度/重排格式的偏差探针。
适用场景：开放式输出打分、两个模型对比、固定评分标准下的单点评分、多候选排序。
限制与反模式：候选与评审用同一模型、成对评分不随机化顺序、无锚点评分标准、无元评估、每任务只调用一次评审（建议 N≥3）、静默聚合多维度、把评审的自由文本解释当作打分信号、让评审看到候选的提示词或系统指令。未做元评估的评审只是“感觉放大器”，不应据此做生产决策。相关子技能包括 agent-evaluation-harness、model-routing、agent-cost-modeling、agent-observability、prompt-injection-defense。