用途:对提示词或技能执行评测驱动的自主优化循环。通过多次运行产物、按评分标准给输出打分、每次只改动一处,并仅保留能可测量提升分数的改动,从而发现稳定复现的失败点;收益来自循环本身,而非一次改写。
适用场景:产物表现时好时坏需要稳定;存在或可起草可量化质量标准(格式规则、通过/失败检查、比较性质量);人工调优已进入平台期;技能上线前需先做基准评测。当用户提到 autoresearch、评测驱动优化、基准测试、运行评测、自我改进提示词,或韩文中的技能改进、优化、基准、评估时使用。质量完全主观且连评分标准都无法勾勒、评测运行器无法以合理成本自动化、产物太新尚无粗糙基线时不应使用。
输入:目标产物路径;6-10 条真实测试输入(约 70/30 分训练与留出集,留出至少 2 条,不足 6 条需记录豁免);3-6 项二元检查加 0-2 项比较性质量检查;可复现的评测运行器命令或过程;预算(默认 10 次实验);停止条件(目标分数或平台期)。若提供 evals.json 则直接使用。
使用方式:先锁定实验契约(目标、数据划分或豁免、评测项、运行器、预算、停止条件、可变文件清单、留出承诺、评测第四诊断、运行器设计、首个变异假设预览),再设计评测套件,优先确定性检查而非 LLM 评委;建立基线并在训练集与留出集上分别记录分数;随后运行变异循环,每次实验分析失败项、提出一个假设、做一处有界改动、检查点化被触碰文件、仅在训练集上运行并打分,按规则 KEEP 或 DISCARD;每第 5 次实验尝试删除;达到预算、停止条件、用户中断或运行器不再可信时停止。报告前应在未豁免时用留出集复测,只有留出集相对基线不退化才报告改进。
限制:仅显式调用,默认休眠,普通编写、评论、调优、实现与评审不会路由至此;作用范围是提示词/技能输出质量,不适用于通用代码指标循环。每次实验只一个假设;必须运行评测运行器并记录分数,不能凭感觉保留;循环期间留出集保持密封;回滚只针对变异涉及的文件,绝不能使用 git reset --hard;若基线二元通过率不低于 95%,不得启动变异循环,应先加强评测。运行产物存放于 ~/.craftkit/autoresearch/<skill-name>/<YYYY-MM-DD-slug>/,不写入目标仓库;技能目标需记录可变文件清单,skill_lines 保持在 220 行发布门槛内。具体价格与收费信息暂未提供。