SuperAPI AI 工具集

judge-with-debate

通用与其它

查看项目

更新于 10-16 06:50

技能介绍

用途:judge-with-debate 用于对解决方案进行结构化评估,通过多名独立评审的多轮辩论来收敛评分并尽可能达成共识。

主要能力:元评审(Meta-Judge)先生成一份定制评估规范 YAML,包含评分标准、检查清单与评分准则;三名独立评审在全部轮次中共享同一规范。评审先各自独立分析并写出报告,再进入辩论轮,最多3轮,评审基于解决方案与评估规范中的具体证据辩护、质疑并可能修改评分。共识判定条件为:各评审总分相差不超过0.5分,且任一标准上任意两名评审的分差不超过1分,且全体评审明确接受共识。

使用方式:先创建报告目录:mkdir -p .specs/reports。报告命名约定为 .specs/reports/{solution-name}-{YYYY-MM-DD}.[1|2|3].md。流程为:Phase 0.5 派发元评审生成规范(仅运行一次),提取 YAML;Phase 1 并行启动3名评审进行独立分析;随后检查共识,未达成则运行辩论轮(每轮评审读取自己与他人的报告文件并追加辩论章节)。评审之间仅通过文件系统通信,由编排者调度但不转述报告内容。命令示例:/judge-with-debate Implement REST API for user management --solution "src/api/users.ts"。

适用场景:需要对代码、文档、配置等方案做证据驱动的多角度评分与评审时使用,例如评估 API 实现。

限制与注意:辩论轮上限为3轮,超过后收益递减;若无共识,则报告持续分歧并将全部评审报告交由人工复核,并标记自动评估未能达成共识。元评审规范必须原样传给所有评审,不得修改,也不得在轮次之间重新运行元评审。评审应追加而非新建报告,并需基于证据才修改立场,避免无实质证据的从众。资料未提供该技能的收费、平台支持范围等细节,暂未提供。