用途:evolve 用于让 metaharness 外壳自身迭代改进。模型保持冻结,改变的是外壳(harness),通过多代变异、沙箱评测与选择,积累确实带来提升的后代。
主要能力:每代针对 7 个表面文件之一进行变异,包括 planner、contextBuilder、reviewer 以及 retry/tool/memory/score 策略;每个子代在沙箱中运行并打分,只有通过测试且被测量到改进的变体才会归档。默认使用确定性变异器,不需要 API key、不联网,可离线运行。所有变异需通过 validateGeneratedCode 门禁:不得引入新 import、网络、文件系统、shell、环境变量访问或新依赖,仅允许纯重构与调参。还提供选择策略(--selection、--crossover、--curriculum)、统计门禁(--fdr、--bench)以及真实 LLM 变异器(库 API)。
使用方式:
npm run evolve # 真实底层:对每个变体运行你的测试命令 npm run evolve:dry # 模拟底层:快速、完全离线、不执行测试
或直接调用:
npx metaharness-darwin evolve . --sandbox real --generations 3 --children 4
适用场景:希望在不更换模型的前提下,通过闭环修复、成本感知路由与分层模型策略来提升解析率与性价比的工程团队。资料中给出的基准经验包括:闭环修复可将解析率从 7.7% 提升到 15.3%;便宜模型单次修复成本可比前沿模型低约 31 倍;分层模型组合达到 33.3% 且成本约为全程前沿模型的六分之一。
限制:必须提供可运行的测试命令才能使用真实底层;变异受安全门禁约束,不得新增依赖或访问外部资源;没有测得的改进就不会被提升;资料未提供具体定价、支持平台与完整参数列表,暂未提供。