用途:通过可测量的迭代来改进另一个技能,而不是凭直觉重写。运行目标技能、用二元评估打分、每次只改一处、只保留提升分数的变异,直到分数停滞、达到预算上限或用户停止。
主要能力:建立二元评估套件;创建实验工作区;建立基线;运行变异循环;维护实时仪表盘;记录每次实验;输出改进结果。
必要输入:目标技能路径、3~5 个代表性测试输入、3~6 个二元是/否评估、每次实验运行次数(默认 5)、实验间隔(默认 2m)、可选预算上限。输入未齐前不要开始实验。
使用方式:
- 读取目标 SKILL.md 及其 references/ 下直接链接的文件,识别核心任务、步骤、输出格式和可能的失败模式。
- 将质量标准转为二元检查,格式为 EVAL N / Question / Pass / Fail,共 3~6 条,避免重复计算同一失败。
- 在目标技能文件夹内创建 skill-autoresearch-[skill-name]/,包含 dashboard.html、results.json、results.tsv、changelog.md、SKILL.md.baseline。
- 先备份原始技能为 SKILL.md.baseline,原样运行 N 次并逐项评分,记录 experiment 0 为基线。results.tsv 表头为 experiment\tscore\tmax_score\tpass_rate\tstatus\tdescription。
- 变异循环:检查失败输出→提出一个假设→对 SKILL.md 做一处针对性修改→重跑同一测试集→重新评分→仅当分数提升才保留,平局或回退则还原,并把结果追加到 results.tsv、results.json、changelog.md。
- 仪表盘从 results.json 刷新,显示实验编号、分数与通过率进展、基线/保留/丢弃状态、各评估失败热点、当前运行状态。用单个自包含 HTML 文件,CSS/JS 内联。
- 每次运行后追加记录:Experiment N — keep|discard、Score、Change、Reasoning、Result、Remaining failures。
- 循环停止后报告:基线到最终分数、实验数、保留与丢弃数、最有效的改动、剩余失败模式、产物位置。
适用场景:技能表现不稳定需要可重复的改进循环;编辑 SKILL.md 前想做基准测试;需要提示词或技能质量的二元评估;想要变异日志而非随意重写;想对比基线与改进后的提示词行为。
限制与规则:输入和评估未定义前不得实验;基线与变异使用同一测试集;一次只改一处;按分数而非偏好保留或丢弃;记录每次尝试;仅在手动停止、预算上限或明显分数停滞时停止。若基线已高于 90%,需确认是否值得继续优化。改善后的技能保留在原路径。可靠评估的写法见 references/eval-guide.md。