用途
Advanced Evaluation（LLM-as-a-Judge）用于实现生产级的 LLM 输出评估系统。其核心心智模型是：评估不是一个事件，而是一条流水线；LLM-as-a-Judge 不是单一技术，而是基于数据性质（客观 vs. 主观）的决策框架。
主要能力
评估分类法
- Direct Scoring（直接评分）：适用于客观标准（事实性、格式），可靠性高，常见失败为量表漂移（calibration drift）。
- Pairwise Comparison（成对比较）：适用于主观标准（语气、风格、创造力），可靠性非常高，常见失败为位置偏差（Position Bias）。
偏差缓解
- Position Bias（位置偏差）：倾向于偏好第一个回答。缓解方式为交换位置评估两次（Swap）并检查一致性。
- Length Bias（长度偏差）：偏好长回答。缓解方式为显式指示忽略长度并惩罚无关冗长。
- Self-Enhancement（自我增强）：模型给自己的输出打分更高。缓解方式为生成与评估使用不同模型。
评分标准（Rúbrica）生成
定义良好的评分标准可将方差降低 40-60%。示例分级：
- 级别 1（差）：无证据，逻辑不一致。
- 级别 3（合格）：符合指令，语气正确，逻辑尚可。
- 级别 5（优秀）：超出预期，有深度洞察，格式完美。
使用方式
Direct Scoring 模式（Gemini 3 + Thinking）
使用 thinking-pro 在给出分数前对证据进行推理。示例提示结构：
## Task
Evalúa la calidad de la respuesta según los criterios.
## Criterios
- Precisión Factual (Peso: 1.0)
- Concisión (Peso: 0.5)
## Instrucciones
1. Busca evidencia específica en la respuesta.
2. Razona sobre cómo la evidencia cumple o no el criterio.
3. Asigna un score (1-5).
4. Sugiere una mejora atómica.
## Formato de Salida (JSON)
{ "score": number, "reasoning": string, "improvement": string }
Pairwise 加 Swap 模式
必须执行 Swap Test 以保证评估完整性：
- Pass 1：模型评估 [Respuesta A, Respuesta B]。
- Pass 2：模型评估 [Respuesta B, Respuesta A]。
- 一致性：若胜者改变，则标记为平局（EMPATE），置信度低。
适用场景
- 为 LLM 输出构建自动评估流水线。
- 比较多个模型的回答（提示词 A/B 测试）。
- 在开发团队中建立一致的质量标准。
- 调试结果不一致的评估系统。
限制与脆弱性
- 脆弱性：中等。评分标准的定义需要与业务/项目目标对齐。
- 技术实现自由度：高。
集成
- context-fundamentals：评估提示词的结构。
- tool-design：创建程序化验证工具。
- debug-master：识别模型逻辑中的系统性故障。
内部参考
- references/bias-mitigation.md：Swap 与 PoLL（Panel of LLMs）高级技术。
- references/implementation-patterns.md：Reasoning-First 与 Swap Test 技术模式。
- references/metrics-guide.md：指标选择（事实性、语气、格式）。