SuperAPI AI 工具集

council

通用与其它

查看项目

更新于 10-15 22:33

技能介绍

用途:在已有 orca 编排之上运行一个 Karpathy 风格的三阶段 LLM 评审团(council):多个席位独立回答同一问题,评审匿名交叉排名,主席综合成最终答复,并留下可审计记录。适用于单一模型答案风险较高、需要多方视角与「谁给谁打了分」审计链路的问题;单一快速答案不必使用。触发说法如 run a council、llm-council、panel of models、blind peer-rank these answers、ensemble + chairman,或 /council。

主要能力:分为四阶段。Stage 1 由编排为每个席位派发一个 worker,同题作答,汇总为 answers.json。Stage 2a 由确定性的 council.py prepare 去作者化,按稳定 sha256 顺序重标为 A/B/C,并按锚点守卫为每位评审生成呈现顺序,产出 blind packet。Stage 2b 以盲评方式派发评审,返回标签排名,汇总为 judges.json。Stage 2c 由 council.py rank 计算平均排名、胜者、异议表与 chairman_brief,写入 transcript。Stage 3 派发主席依据 chairman_brief 综合,结果回填 transcript 的 chairman_synthesis。Stage 4 强制渲染离线版本化 HTML 报告(council-report-NNN-seed<seed>.html 与 latest.html 指针),无 CDN,字符就地 escape。

使用方式:前置条件为 python3 harness/scripts/council.py selftest 退出码 0、orca status --json 显示运行中运行时、且 harness/council.config.yaml 已配置 seats/judges/chairman。核心命令包括 prepare、rank、render、roster 与 selftest,常用参数有 --seed、--out、--config、--question。可选 persona 层通过 roster --case/--profile/--personas 选取 3 或 5 个视角,注入 Stage-1 提示词。

限制:council.py 本身不调用模型,模型生成由 orca 编排负责;config 中的模型身份标记为 verified: false,属未核实假设,引擎不对其分支。评审仅做盲化而非排除。排名缺 --judges 时只出 blind packet 即停止;HTML 渲染错误仅告警,不终止 rank 或 transcript。默认书面要求为带完整声调的越南语,不遵循会如实反映在报告中。