用途:对已有 AI 技能进行可测量的迭代优化。它把目标技能放在小测试集上反复运行,用二元(是/否)评估给输出打分,每次只修改提示中的一处,只保留能提高分数的改动,直到分数停滞、达到预算上限或用户停止。
主要能力:建立基线并对比改进前后行为;构建二元评估套件;运行变异循环并记录每次实验;维护实时仪表盘与变更日志;输出基线到最终分数、实验次数、保留/丢弃数量、最有效改动与剩余失败模式。
必要输入:目标技能路径、3 到 5 个代表性测试输入、3 到 6 个二元是/否评估、每次实验运行次数(默认 5)、实验间隔(默认 2m)、可选预算上限。评估编写可参考 references/eval-guide.md。
使用方式:先读取目标 SKILL.md 及其 references/ 下直接链接的文件,识别核心任务、步骤、输出格式与失败模式;把质量准则转成二元检查;在目标技能文件夹内创建 skill-autoresearch-[skill-name]/ 工作区,包含 dashboard.html、results.json、results.tsv、changelog.md、SKILL.md.baseline;先跑基线(实验 0),再进入变异循环:检查失败输出、提出一个假设、对 SKILL.md 做一处针对性修改、用同一测试集重跑并重新打分,只有分数提升才保留,平局或退步则回退,并把结果追加到 results.tsv、results.json 和 changelog.md。results.tsv 表头为 experiment score max_score pass_rate status description。仪表盘从 results.json 刷新,显示实验编号、分数与通过率进展、基线/保留/丢弃状态、各评估失败热点与当前运行状态。
适用场景:技能表现不稳定需要可重复改进循环;编辑 SKILL.md 前先做基准测试;需要提示或技能质量的二元评估;希望有变异日志而非临时重写;对比基线与改进后的提示行为。
限制与规则:输入与评估未定义前不得开始实验;基线与变异必须使用同一测试集;一次只改一处;按分数而非偏好决定保留或丢弃;记录每次尝试;仅在手动停止、达到预算上限或分数明显停滞时停止。若基线已高于 90%,需确认是否值得继续优化。改进后的技能保留在原路径。