SuperAPI AI 工具集

do-and-judge

编程与开发

查看项目

更新于 10-16 01:35

技能介绍

用途:执行单个任务,通过子代理实现与 LLM-as-a-judge 验证,并自动重试直到通过或超出最大重试次数。

主要能力:编排者不亲自执行任务,而是并行派发 meta-judge(生成评估规范)与实现代理,随后派发 judge 依据该规范机械核验;失败时携带 judge 反馈重新实现并迭代,最多重试 3 次。特点包括干净上下文、结构化评估、外部验证、并行提速、反馈闭环与质量门禁。

使用方式:参数 task 为必填自由文本;--model 可选 haiku|sonnet|opus,默认自动选择,显式指定时覆盖所有子代理;--strict 关闭迭代裁量规则,仅当分数 >= 4.0 才通过。示例:/do-and-judge Refactor the UserService class to use dependency injection --strict。

模型选择:默认 sonnet/haiku,opus 需由关键或复杂触发条件获得;多行匹配时取最高层级;角色配对默认同层,非显然任务可仅提升 meta-judge 一层。升级规则:首轮质量低或用户反馈质量差时,将实现与 judge 同时升一层,haiku→sonnet→opus,opus 为上限,仍失败则上报用户。显式 --model 时触发条件一不静默覆盖,继续用该模型迭代至上限。

限制:编排者不得读写文件或运行 bash,只能通过 Task 工具派发子代理;不得跳过 judge 验证;不得在超出重试后未经用户决定继续;实现代理禁止使用变更类 git 命令(如 commit、stash、push、checkout、reset、revert),除非任务明确允许。跨提供商时按能力层级映射模型。具体可用代理与插件根路径依赖运行环境,资料未提供完整安装命令。