用途:autoresearch 把 Andrej Karpathy 的自主实验循环方法用于优化 Claude Code 技能提示词,目标是让技能输出更稳定,而非重写技能。
主要能力:对已有技能反复运行测试输入,按二元(是/否)评估标准给每次输出打分,对技能提示词做单点变异,保留提升分数的改动、丢弃其余改动,直到达到分数上限或用户停止。产出包括改进后的 SKILL.md、results.tsv 日志、changelog.md 变异记录,以及可在浏览器查看的实时 HTML 仪表盘。
使用方式:开始前需与用户确认目标技能路径(SKILL.md)、3-5 个测试输入、3-6 条二元评估标准、每次实验运行次数(默认 5)、运行间隔(默认每 2 分钟)和可选预算上限。流程为:完整阅读技能、构建评估套件、生成并打开仪表盘、先跑基线(实验 0)、进入自主实验循环(分析失败、提出假设、单点修改、运行、打分、保留或回退、记录日志)、写 changelog、最后汇报结果。
适用场景:优化任何已有 Claude Code 技能,例如图表生成类技能;评估套件可在技能更新后复用,changelog 可供后续模型继续优化。
限制:评估必须为二元标准,3-6 条为宜;每次只改一处;分数持平或下降即回退;达到 95% 以上连续三次或预算上限即停止。资料未提供安装命令、收费与价格信息。