用途：这是多模型系统中的聚合环节。给定 N 个模型对同一批条目的回答，或 N 个评审（judge）的判决，决定怎样合成一个最终结果，既不把朴素多数投票当作天然可靠，也不丢弃确有价值的分歧信号。核心论点：评审之间一致不等于事实正确；前沿模型共享训练数据与对齐配方，误差会相关，评审团的有效独立信号可能远低于成员数量，甚至集体偏离人类判断。应先在自己的评测集上测量这种相关性，再信任任何聚合方案。
适用情形：把 N 个模型输出合成为最终答案（多数投票、加权投票、综合撰写）；聚合或调和评审团的判决、分数、排名；决定如何处理成员间分歧；在均值、加权投票、几何中位数、综合撰写之间选型；设置带位置偏差防范的成对比较。即使用户没提“council”，只要问“5 个模型输出怎么选赢家”“3 个模型的答案怎么定”“能否直接平均评审分数”，也属于本技能。
不适用：流水线拓扑或阶段设计（属 llm-council-architecture）；是否该用多模型（llm-council-when）；成员挑选（llm-council-members）；编写各阶段提示词（llm-council-prompts）；单评审的模型评测；与模型/评审输出无关的统计作业；数据库 SQL 聚合。
方法选择：分类且有验证集时，按各模型验证集 macro-F1 加权投票，而非自报置信度；推理/数学采用推理轨迹级综合；主观质量评估采用评审团加综合撰写；成本受限时默认 2 名评审，分歧时才启用第 3 名；怀疑评审失准用几何中位数代替均值；评审可靠性不等时用 judge-aware Bradley-Terry。成对比较需双向呈现，仅当两次都判胜才算胜，否则算平局，规模化后仅对校准集做全成对，生产默认逐点评估。
置信度分层：简单均值（仅等权评审）< 声称置信度加权（仅在校准后）< 历史可靠性加权（最佳但需维护）。若用户想按自报置信度加权，应先确认是否已用人工标签校准，否则在困难条目上可能毫无增益甚至反向。校准回路：200–500 条判决对比人工标签，逐对 Cohen's kappa、全组 Krippendorff's alpha，目标 ≥0.6，每季度重跑。
评审卫生：评审模型与生成模型来自不同家族；评审角色与综合角色分离；评分前要求引用证据；加入“不奖励长度”条款；温度 0；高风险条目仍要重复试验以应对自不一致。综合步骤应保留分歧而非抹平：说明一致处、暴露并解释分歧（为双方做钢人论证）、从所有回答取材而非只看最高排名、标注剩余不确定性，把高分歧/低置信条目交人工处理。评分量表默认 0–5，并用人工标注样本验证。
输出应包含：所选方法及理由、该设置下的相关误差/共同失败风险、应采用的置信度层级及其校准要求、所需的成对偏差控制、综合步骤如何保留分歧。
需明确点名的失败模式：把朴素多数投票当作天然可靠（有效票数可能远低于成员数）；把评审一致当作对齐人类；未校准的置信度加权；共识式压缩综合丢掉非多数派的好想法；评审与生成同家族导致自我偏好偏差。
注意事项：不要先建议加更多评审而不先问误差是否相关；成对比较是 O(n²)，规模化后不要默认全成对；若评审团总收敛到多数投票且无升级路径或人工介入，等于重新引入本技能要避免的失败模式。仅引用命名文献。配套技能包括 llm-council-when、architecture、members、prompts、cost、failure-modes、harness。