SuperAPI AI 工具集

simmer-reflect

智能体与模型

查看项目

更新于 10-15 09:27

技能介绍

用途

simmer-reflect 是 simmer 工具链中的反思子技能,它被设计为唯一能查看完整评分历史记录的技能。其核心任务是在每一轮迭代结束后,记录本轮结果、维护最佳候选记录、处理分数回退,并将评审反馈(ASI)原样传递给下一轮的生成器。

主要能力

1. 记录轨迹

将本轮迭代结果更新至 {OUTPUT_DIR}/trajectory.md,以标准化的 Markdown 表格形式保存 running score 记录。表格格式在单文件模式和工作区模式下有所不同:

  • 单文件模式的列为:Iteration、各评分准则名称、Composite、Key Change,表格下方标注最佳候选。
  • 工作区模式的列为:Iteration、各评分准则名称、Composite、Config、Key Change,其中 Config 列用于简明记录关键工作区状态(如模型名称、拓扑结构等)。

表格保持整洁,不混入原始评估器输出或逐测试用例的拆解,评估器细节需另起章节置于表格下方。Key Change 列由生成器的 2-3 句报告压缩为不超过 60 字符的简短描述,第 0 轮(种子)固定为 seed。

2. 追踪最佳候选

每轮结束后,将本轮得分与历史最佳进行比较。若设置简报中指定了主准则(primary criterion),则以主准则得分优先、复合分数为次级依据来决定最佳候选;若无主准则,则默认以复合分数为准。最佳候选不一定是最近一轮。

2b. 处理回归

若本轮复合分数低于历史最佳,则在轨迹 Key Change 列标注回归信息,并建议编排器将最佳候选(而非最新候选)作为下一轮生成器的输入。输出中包含 REGRESSION: true 与对应迭代编号。工作区模式下,编排器将选择性地从最佳迭代的提交中恢复工作区文件,但 trajectory.md 等追踪文件不会被回滚。

3. 追踪探索状态(工作区模式)

若设置简报中包含 SEARCH_SPACE,需回顾轨迹以判断哪些维度已被探索、哪些尚未尝试,包括已试模型、已试拓扑结构、其他搜索空间维度,并生成简洁的探索摘要。纯文本/创意模式或无搜索空间时跳过此步骤。

4. 追踪稳定有效项

通过审查轨迹中的 Key Change 列,识别哪些元素在引入后持续保持或改善分数(稳定有效,不应移除),哪些元素引入后导致了回归或未奏效。此信息会传递给评审委员会的审议摘要,供评审与生成器参考。

5. 传递 ASI

将本轮评审给出的 ASI 原样传递给下一轮生成器,同时返回当前最佳候选所在迭代、剩余迭代数量、是否发生回归及应采用的输入候选、探索状态(仅限带搜索空间的工作区模式)以及稳定有效/无效项清单。

输出格式

向编排器输出时包含:迭代记录、目前最佳、回归标记与推荐输入、剩余迭代数、下一轮 ASI、探索状态、稳定有效项、无效项。

使用方式

作为 simmer 的子技能被调用,接收上下文信息并返回结构化输出,无需用户手动操作。

适用场景

适用于需要多轮迭代优化的自动化流程,尤其适合需要追踪评分变化、维护最佳版本、在回退时提供正确回滚建议的场景。

限制与常见错误

  • 不得将评估器原始输出直接倒入轨迹表格中;
  • 不得在传递前修改 ASI;
  • 不得默认最近一轮即最佳;
  • 轨迹文件只包含分数、复合分数与简短关键改动摘要;
  • 始终使用上述 Markdown 表格格式。