SuperAPI AI 工具集

gauntlet-loop

智能体与模型

查看项目

更新于 10-16 06:05

技能介绍

Gauntlet Loop 是一套领域无关的核心技能,用于在任何领域产出高质量工作:构建 → 盲审 → 修订 → 重复,并针对一个智能体无法狡辩的“标尺”进行迭代。编程、写作、设计、数据、研究、提示词工程与检测都使用同一套循环,区别仅在于如何选标尺、评审者检查什么、以及检查清单,这些内容位于 references/domains/ 中。

来源:Gauntlet Loop 方法由 Matt Shumer 提出,出自《How to Run a Gauntlet Loop》(https://somethingbig.ai/gauntlet-loop),并配有仓库 mshumer/Claude-of-Duty。本技能是独立且标注出处的改编版,见 ../../CREDITS.md。

前提:真实的智能体运行框架

该循环需要一个智能体运行框架,能够打开文件、运行代码、渲染输出、截图、调用工具,并生成拥有自身干净上下文的子智能体(Claude Code、Cowork、Codex 或等价工具)。单轮对话无法产出独立的盲审者——如果你只能在一个上下文中回复,请如实说明,并退回为单次自我审查,而不是假装循环已运行。

对于大型多智能体运行,使用运行框架的并行智能体能力(在 Claude Code 中:子智能体,或可用时的 /ultracode)。

四大支柱

一个智能体无法狡辩的标尺。最强形式:工件必须匹配或超过某个真实参照——参考实现、测试套件、顶级产品截图、范文、评测集、ATT&CK 技术、可工作的 PoC。标尺可以是理想化的:不必现实可达。不可达的标尺会让循环持续向上拉,而不是停在“足够好”。

给出目标,而非实现。说明成品必须达成什么;让智能体自行选择路径。规定架构会用你的判断替代模型判断,并把结果上限压在你自己的想象范围内。

让智能体自行拆分工作。负责人把目标拆成可独立改进与评分的最小单元。独立单元可作为并行循环运行。

构建者绝不给自己打分。构建者与评判者是不同智能体,拥有独立上下文。评审者对构建者的推理过程不可见,只检查真实工件——运行代码、渲染像素、实际测试输出——绝不看构建者的总结。

本技能加载后的第一步

识别工作类型。

阅读匹配的领域文件,了解如何选标尺、评审者必须检查什么,以及一个示例:

代码 / 重构 / 库 / 功能 → references/domains/coding.md

文章、文档、消息、营销文案 → references/domains/writing.md

UI / 视觉 / 落地页 → references/domains/design.md

分析、指标、建模 → references/domains/data-analysis.md

文献 / 市场 / 竞品研究 → references/domains/research.md

提示词、智能体、技能、LLM 功能 → references/domains/prompt-eval.md

SIEM/EDR 检测规则(蓝队) → references/domains/detection.md

其它任何内容 → 下方的通用框架加 references/choosing-the-bar.md

阅读 references/running-the-loop.md 了解编排机制:预算、并行、进度工作台、最终平滑处理。

按所述运行 LEAD → BUILDER → CRITIC。

寻找安全漏洞是一个特殊情况,具有不同的触发条件与强制安全规则 → 使用单独的 security-vuln-gauntlet 技能。

三种角色(绝不共享上下文)

LEAD(编排者)。设定标尺与循环预算,把目标拆成可评分单元,把 FAIL 路由回去,合并结果。不参与构建——一个构建过某物的智能体对该物的评判会有偏差。

BUILDER(专家,干净上下文)。真实构建某一部分并产出工件。允许不完美。绝不宣布 PASS。

CRITIC(盲审,独立的干净上下文)。绝不看构建者的推理。对照标尺检查工件,要求客观证据,只在标尺达成时通过。见 references/critic-design.md。

循环

设定标尺与预算。具体、可衡量,最好能超过某个具体真实事物。如果没有明显参照,第一项工作就是:“找到一个具体的对照或度量”——不要针对模糊目标开始构建。见 references/choosing-the-bar.md。

拆分(LEAD)。列出值得单独评分的最小单元(按组件、按流程、按质量维度)。独立单元 → 并行循环。

构建(BUILDER × N,并行,干净上下文)。每个构建者产出真实工件。

评审(CRITIC,盲审)。评审者检查真实事物,对照每条标尺标准给出证据评分,返回 PASS/FAIL 以及具体修复项。只要领域允许,就与参照做盲测 A/B。

修复并重复。把 FAIL 连同评审者的理由反馈回去。运行得比感觉必要的更久——多数人过早停止了好几轮。把困难部分进一步拆分;尝试变体。

平滑(可选但推荐)。一个全新的智能体检查整个组装后的结果,并修复分别改进的各部分之间的不一致。它负责统一,不负责重新设计。

报告。最终工件 + 所用标尺 + 轮次日志 + PASS 证据 + 仍低于标尺的部分。

停止

标尺可能被设计为不可达,所以“标尺达成”不是唯一的停止条件。以下任一成立即停止:

每个单元都通过标尺;或

连续两轮相对标尺没有改进;或

循环预算(轮次、时间、token)耗尽。

始终记录仍低于标尺的部分。如果工作仍在明显改进且预算尚存,继续。

监控而不打断

长时间运行值得观察,但停下来询问状态会消耗一轮。让循环维护一个实时进度工作台——workbench.md 或自动刷新的 HTML 页面——每轮之后更新:当前轮次、各单元 PASS/FAIL、评审者的证据,以及最新工件/截图的链接。异步阅读;仅在循环卡在错误方向时介入。

为何优于一次性工作

一次性:构建者自行决定“还行” / 模糊标准 / 停在足够好 / 确认偏误。 Gauntlet Loop:盲审者检查真实工件且只对照标尺通过 / 与真实参照绑定的具体标尺 / 只要在改进就持续循环 / 构建者与评审者保持独立上下文。

何时不要使用

该循环的 token 与耗时是单次产出的许多倍。对于小型、低风险、一次性工作(快速回答、一次性脚本、一行修复)请跳过。当你确实在意质量,且能说出某个真实事物作为衡量参照时,才使用它。

预期输出

通过(或最接近)标尺的最终工件,外加:标尺定义、轮次日志(什么 FAIL → 改了什么)、客观 PASS 证据(测试结果、盲测 A/B 结果、重新计算、截图、PoC),以及剩余差距。

参考资料

references/methodology.md — 完整方法及其理由。

references/running-the-loop.md — 编排:预算、并行、工作台、平滑处理。

references/prompt-templates.md — LEAD / BUILDER / CRITIC / SMOOTHER 提示词 + 元提示词。

references/choosing-the-bar.md — 如何按工作类型选择标尺。

references/critic-design.md — 设计检查现实的盲审者。

references/domains/coding.md — 软件(参考实现 / 以测试为标尺)。

references/domains/writing.md — 写作(范文、盲测 A/B)。

references/domains/design.md — UI/视觉(对照顶级产品盲测 A/B)。

references/domains/data-analysis.md — 分析(正确 + 稳健 + 可复现)。

references/domains/research.md — 研究(来源可验证、无捏造引用)。

references/domains/prompt-eval.md — 提示词/智能体/技能(以评测为标尺、正面对比)。

references/domains/detection.md — 检测工程(ATT&CK + 零误报)。