用途:对目标导向的智能体实现运行闭环改进循环,流程为 EVAL -> ANALYZE -> RESEARCH -> IMPROVE -> RE-EVAL -> DECIDE,可重复多轮。每轮测量 L1-L12 渐进测试分数,用 error_analyzer.py 定位失败,执行带假设、证据与反驳论证的研究步骤,施加针对性修复,并通过回归检查决定是否提升。
主要能力:运行渐进测试套件并输出各层分数与基线;将失败归类到失败模式与对应代码组件;为每项拟议改进记录假设、证据、反方论点与决定,写入 research_decisions.json 便于审计;按优先级应用提示模板改进、检索策略调整与代码逻辑修复;重新评估后设提升门禁,整体提升达阈值则提交,单层回退超容差则全部回退;支持对 mini、claude、copilot、microsoft 四种 SDK 实现做四方基准对比。
使用方式:命令行运行 python -m amplihack.eval.self_improve.runner --sdk mini --iterations 3,可选参数包括 --improvement-threshold、--regression-tolerance、--levels、--output-dir、--dry-run。也可在代码中调用 run_self_improvement 与 RunnerConfig。
适用场景:改进或基准测试智能体实现、比较不同 SDK 实现、定位并修复分数回退。
限制:资料未提供外部依赖、安装步骤、平台要求与收费标准。