用途:当优化目标是 harness、脚手架、工作流或优化器本身,而不是单个任务时使用该技能。典型场景包括:智能体挖掘自身失败并改写自己的 harness、meta-agent 搜索 harness 代码、工作流候选种群针对评估器进化,或对“生成上下文的机制”本身进行版本化改进。其核心问题是:如何让循环重写自身而不污染引导它的信号。
主要能力:
- 优化阶梯:按指令提示、结构化上下文、上下文机制、工作流图、harness 代码、优化器代码六级定位修复层级,主张在能表达修复的最低层级修复。
- 验收门:只依据实测证据接受自我修改,使用 held-in 与 held-out 两分割,两者都不回退且至少一个严格提升才接受;拒绝以一分割换另一分割的候选。
- 失败驱动自编辑闭环:弱点挖掘、有界提案、验证合并三阶段;失败聚类需包含验证器原因、行为因果状态与抽象机制,并过滤非 harness 缺陷。
- 循环外不变式:评估器、埋点、权限与预算必须位于循环不可修改的表面之外,评分实现对提案者隐藏。
- 文件系统经验档案:候选以目录存源码、分数与原始轨迹,提案者用检索工具自行导航,不做预摘要。
- 多样性保持:保留全部候选档案、按后代数折扣选择父代、嵌入相似度去重、保留回到种子候选的路径。
必要用法:实现两分割验收时可用 mean_score 对比候选与基线,held-out 不得对提案者可见。经验档案目录包含 harness.py、scores.json、traces/、lineage.txt,以及 frontier.json 与 rejected.jsonl。
适用场景与限制:适合具备快速、确定性、可自动化评估器的领域;评估慢、模糊或仅靠裁判的领域不适用。启用递归前需验证基础模型通过能力阈值,否则递归会拉低平均表现。提示文本中的预算与安全约束会被进化掉,必须在运行时强制。评估器变更、可编辑面扩展与生产提升保留为人工决策。资料未提供具体价格、平台或安装命令。