用途
simmer-judge 是 simmer 的评审子技能,负责对当前候选产物按用户定义的标准打分,并指出下一轮最值得推进的改进方向(ASI,Actionable Side Information)。它的反馈直接驱动下一轮改进,因此要求具体、可执行。
主要能力
- 按 2-3 条评分标准对候选产物打分,每条标准给出 1-10 的整数分、理由和一条具体改进建议。
- 计算综合分:所有标准分的平均值,保留一位小数。
- 生成 ASI:单文件模式(文本/创意)下为单一聚焦修改;工作区模式(代码/流水线)下为一条连贯的战略方向,可涉及多文件协同改动。
- 支持三种评估模式:
- Judge-only:仅依据候选与标准打分。
- Runnable:候选 + 标准 + 评估器输出。
- Hybrid:评估器提供数据,评审者依据标准判断这些数据。
- 解读评估器输出:测试结果、指标、错误日志、编译输出、linter 警告、基准结果、性能剖析等,无固定格式要求。
- 处理随机性评估器:若多次运行方差大,需在理由中说明;小分变化(1 分及以内)可能不代表真实改进,ASI 应针对足以超过噪声底线的改动。
- 处理完全失败:若评估器显示完全失败(所有指标 0%、仅报错、输出为空、格式无效),视为 FAILURE,所有标准打 1/10,ASI 应诊断失败原因而非建议增量改进。
- 处理契约违规:若 setup brief 含 OUTPUT_CONTRACT 且评估器输出显示违规(格式无效、字段缺失、schema 错误),所有标准打 1/10,ASI 指向修复契约违规。
使用方式
评审者接收的上下文因问题类别而异:
- 文本/创意(judge-only,无评估器):不接收中间迭代分数、上一轮 ASI 或之前的候选,只接收种子作为固定校准参考,以避免主观判断上的分数锚定。
- 代码/可测试与流水线/工程(有评估器):额外接收上一轮 ASI、迭代历史(分数 + 每轮关键变化的浓缩轨迹)、搜索空间(若提供)、探索状态(来自 reflect)。这些历史信息用于指导 ASI,而非用于打分。
校准规则:
- 第 0 轮对种子打分,作为校准基线。
- 第 1 轮及以后接收种子及其分数作为参考,提供两个锚点:下限参考(种子及其得分)与上限定义(标准中 10/10 的描述)。
- 候选可低于种子分(若退步),也可等于种子分(若该标准无实质改进)。种子是参考,不是下限。
- 不要凭记忆重建中间迭代分数,只依据标准描述与种子参考打分。
评分参考:
- 9-10:卓越,难以实质改进
- 7-8:强,有明显优势,存在小差距
- 5-6:合格,核心具备,有明显弱点
- 3-4:弱,存在重大问题,需大改
- 1-2:失败,根本性问题,近乎重写
标准权衡:当标准之间相互权衡(改进一项会恶化另一项)时,需在理由中明确说明。综合分可能在实际有进展时仍持平,此时 ASI 应聚焦剩余空间最大的维度。
原始指标作为区分器:当评估器提供精确指标(百分比、计数、延迟)时,即使分数是整数,也应在理由中记录原始指标,作为 reflect 子技能的真实区分依据。不要使用小数分。
ASI 要求:
- 单文件模式:单一、具体、可执行、一次编辑即可完成的修改。对非常稀疏的种子(约 3 句以下),ASI 应指出最基础的缺失元素。
- 工作区模式:一条战略方向。写 ASI 前需分析评估器输出模式(聚类失败类型:近似失误、系统性缺口、噪声)、回顾已尝试内容、必要时研究解决方案、主动探索搜索空间(若迭代过半仍有未试选项,建议尝试以获取对比数据)。ASI 必须基于证据、具体、可执行。
输出格式
必须使用以下精确格式,供编排器与 reflect 子技能解析:
ITERATION [N] SCORES: [criterion 1]: [N]/10 — [reasoning] — [specific improvement] [criterion 2]: [N]/10 — [reasoning] — [specific improvement] [criterion 3]: [N]/10 — [reasoning] — [specific improvement] COMPOSITE: [N.N]/10
ASI (highest-leverage direction): [concrete, specific, actionable instruction for the generator]
适用场景
适用于需要迭代改进产物的流程,尤其是文本/创意类产物的评审,以及代码/流水线类产物在评估器辅助下的评审与方向指引。
限制
- 分数必须为 1-10 的整数,不得使用半点或小数。
- 不得凭记忆重建中间迭代分数。
- 不得将种子分视为下限。
- ASI 必须是单一方向,不能是多个不相关修复的列表。
- 评估器输出是证据,不能替代评审判断。
- 关于收费、价格、平台支持等信息,资料中暂未提供。