用途
Auto-Research 用于运行有边界的自主优化循环,将「实验—评估—迭代」过程结构化,使其围绕可量化指标反复进行保留/丢弃决策。它适合优化代码、提示词、技能或工作流中可测量的目标,例如测试速度、构建时间、打包体积、训练损失、内存、提示词质量、工作流延迟等。其目标是让每次改动都可验证、可回滚、可恢复,而不是随机变异式的盲目尝试。
主要能力
- 将基础设施与领域知识分离:基础设施包括基准运行器、结果日志、基线比较、回滚与恢复文件;领域知识包括要优化什么、哪些文件相关、允许哪些改动、禁止哪些副作用。
- 将状态外化到目标仓库/工作目录的文件中,使新智能体即使经历上下文重置或重启也能从文件加 git 历史精确恢复。
- 维护多类状态文件:autoresearch.md(人类可读的会话文档,含目标、指标、范围内文件、约束、死胡同、成果、当前假设)、autoresearch.sh(快速基准包装脚本,输出 METRIC name=value 行)、autoresearch.jsonl(仅追加的机器可读日志)、可选的 autoresearch.checks.sh(正确性反向压力:测试、类型、lint)和可选的 autoresearch.ideas.md(尚未测试的有前景想法)。
- 记录基线,每轮只做一个有针对性的改动,运行基准,仅在主指标改善且校验通过时保留,否则丢弃;简化实现在同指标下优先保留。
- 提供置信度评分:在 3 个以上数据点后,用中位绝对偏差(MAD)估计会话噪声,置信度 = |最佳改进| / MAD,>=2.0 可能为真,1.0–2.0 高于噪声但边际,<1.0 可能为噪声需重跑。
- 提供脚本 scripts/analyze_autoresearch_jsonl.py 汇总分段并从日志计算置信度。
使用方式
需要提供必需输入:目标、基准命令、主指标名称/单位/方向(更低或更高)、范围内文件、禁止触碰的文件/区域、约束(测试、类型、不新增依赖等)、迭代上限或停止条件。
推荐执行流程:如可用 git 则创建专用分支;阅读范围内文件;编写 autoresearch.md 与 autoresearch.sh;运行基线;将基线追加到 autoresearch.jsonl;每轮迭代执行:打一个想法的补丁、运行 ./autoresearch.sh、如存在则运行 ./autoresearch.checks.sh、与当前最佳比较、更好则提交或快照保留、否则重置/回退丢弃、追加结果行、更新 autoresearch.md。停止条件是达到迭代上限、没有可信改进、置信度持续偏低且无想法重跑后存活、或用户中断。
autoresearch.jsonl 的 schema:每个新分段先写配置/表头行,再为每个实验追加一行。状态含义:keep(主指标改善且校验通过)、discard(主指标变差或持平)、crash(基准失败或超时)、checks_failed(基准通过但正确性校验失败)。
循环规则包括:基线优先且绝不信任其他机器/运行时/模型的基线数字;仅在某尝试明显超过当前最佳后才提升新基线;每轮只做一个针对性改动;主指标为王,次指标仅作权衡监控;同指标下更简单者胜;不要反复横跳;记录失败的教训而非仅记录代码变化;小崩溃快速修复并继续;对有状态评估器隔离比较运行,避免共享状态目录造成假阳性。
恢复时读取 autoresearch.md、autoresearch.jsonl、近期 git 日志以及 autoresearch.ideas.md;在风险编辑前创建检查点;回退时回到最后良好基线而不是在坏尝试上叠加修复。
在 Hermes 环境下没有内置的 run_experiment 或 log_experiment 工具,可用 write_file / patch 写会话文件、terminal / execute_code 运行基准并提取指标、git 命令执行保留/丢弃,优先使用仓库产物而非纯聊天记录。
适用场景
适用于有明确基准命令或评估工具、有回滚路径(git、分支、快照或一次性环境)、希望进行 autoresearch 式保留/丢弃循环的可测量优化任务。
限制
当没有主指标、基准无法重复运行、任务破坏性高风险且未获批准,或成功标准主要依赖主观且无法化为稳定检查时不适用。批量参数扫描或变异批次在没有基线提升、保留/丢弃状态和可恢复账本时只是探测扫描,不算真正的 autoresearch。若基准或优化器写入持久状态(学习权重、变异历史、校准文件、缓存策略),除非实验明确需要累积学习,否则不要在同一共享状态目录比较候选。对有状态评估器,最好为每个候选使用独立的新状态目录/工作目录/产物根,否则可能因基线漂移、累积提升或跨运行污染导致假阳性。长期运行命令应监视状态文件而非盲目等待;若运行时变得不合理,应在保留部分状态后停止并报告实际完成的尝试次数,不得暗示已完成请求的次数。状态判定有验证过的优先顺序:final_summary 存在或快照状态为 completed 则 completed;快照 running 且 updated_at 过期则 interrupted;快照 running 且 updated_at 新鲜则 running;否则 unknown。陈旧阈值建议用会话典型迭代时长 × 3–5 倍。