SuperAPI AI 工具集

llm-council-members

智能体与模型

查看项目

更新于 10-16 03:14

技能介绍

用途:决定 LLM 评审团由哪些模型组成、每个席位承担什么角色。核心是避免把“角色数量”误当成“模型多样性”——同一模型的多个提示变体只会产生表演式差异,而非能互相发现盲点的认知差异。

主要能力:建议先确保供应商多样性,例如 Anthropic、OpenAI、Google 各取一个作为基线,必要时加入 xAI 或强开源模型;多数场景面板规模为 3-5 人,超过 5 人很少带来独立信息。设计透镜时应使用认知约束(如“必须找出至少一个缺陷”)而非身份扮演(如“你是怀疑者”),并提供 Contrarian、First Principles、Expansionist、Outsider、Executor 五类透镜。角色到模型应动态分配,透镜在成员间轮换,合成/主席席位交给最强模型。成员之间及对裁判应匿名化,因为暴露真实模型身份会增加行为趋同。

使用方式:当用户在选择评审团模型或席位角色时使用,包括未明说“评审团”但询问“GPT+Claude+Gemini 是否比三个 GPT 角色更多样”之类问题。输出应给出具体成员列表(供应商/模型、数量、理由)和每席角色/透镜分配,并明确说明是否匿名化、异质性是否值得、若为单模型多透镜则标注为结构化自审而非投票。

适用场景:模糊、价值负载、无单一标准答案的任务更适合异构面板;简单事实任务不建议为此付费,应直接推荐单一强模型。

限制:不负责流水线拓扑、阶段数、停止规则、提示词措辞、聚合评分、成本预算等,这些属于兄弟技能。若只有一个模型可用,应如实说明单模型多透镜只是廉价结构化自审,不构成投票,也无法防范该模型自身盲点。供应商多样化面板会让每个供应商收到相同提示,含代码、PII 或密钥时需先脱敏并检查各厂商数据处理与保留条款。不要为“更友好”而调优成员,温暖化会提高错误率与迎合倾向。