用途:在决定是否让多个模型共同推理并合并输出之前,先回答“这件事到底需不需要委员会”。默认方案是一个强模型加长思考预算,委员会必须自证其额外成本合理。
适用时机:用户正在权衡“要不要跑多个模型”“值不值得”“委员会对比单模型”,或未点明名称但描述类似想法(例如“3 个 AI 会比 1 个好模型更强吗”)。不适用:已决定用委员会后设计流水线(属 llm-council-architecture)、削减既有委员会成本(llm-council-cost)、挑选成员(llm-council-members);也不适用于通用“聊天/编程该用哪个 LLM”或提示词 A/B 测试。
决策规则:仅当四项同时成立才支持委员会——任务困难或含糊(收益集中于难题);任务可并行分解而非单一顺序推理链;错误答案代价远高于 3–6 倍推理成本;确有异构成员,且需在自有候选池上核查“共同失败率”。任一不成立即保持单模型。
工作流:先确认任务性质与是否可分解;逐条核对四项条件;对引用证据做方法学陷阱检查,重点看各分支思考 token 预算是否对齐,多智能体辩论的增益常在预算对齐后消失或实为多数投票;用“每解决一个结果”的成本而非每次查询成本换算;优先分诊/升级而非全有全无,简单多数走单模型,高难高风险尾部才动用委员会;若用途是评估/评判而非生成,评委委员会在该特定任务上有较好验证,但不可用来为生成委员会背书;建议在用户自身工作负载上先做基准测试。
输出规范:给出明确默认建议及成立/不成立的具体条件;对被引用的“委员会胜出”基准明确检查是否做了计算/token 预算匹配;给出每解决结果的成本框架;存在难易分层时建议分诊升级;附一段可在自有工作负载上执行的评估协议:同一任务集分别跑单模型与委员会路径,用两条路径都不涉及的评判模型盲评,加入人工 A/B 偏好抽样,保持 token 预算相等,否则声明比较未获证实,并在扩展成员数前测量候选池共同失败率。
限制与陷阱:勿轻信“委员会胜出”基准;勿假设同源模型足够多样;勿混淆评估用评委委员会与生成用委员会;临时拼凑的多智能体脚手架往往不如普通 CoT 加自一致性且成本更高;同质辩论可能出现谄媚式趋同。成本、价格与具体平台信息资料未提供。