SuperAPI AI 工具集

autoresearch

通用与其它

查看项目

更新于 10-15 17:26

技能介绍

用途:autoresearch 让智能体自主运行优化实验循环,适用于任何能把「更好」映射为数字的可测量目标,包括代码性能、提示词工程、邮件文案、配置调优、Lighthouse 性能分、查询速度等。人类先定义成功标准,智能体负责试错。

四个支柱:1)标量指标,一个唯一数字,明确越高越好或越低越好;2)评估器,输出该指标的自动化脚本,且智能体永不修改;3)程序,即 program.md,人类写明优化目标、允许与禁止的做法及约束;4)沙箱,一个允许智能体修改的单一文件或范围极小的目录。

初始化协议:先建立独立分支并提交基线,例如: git checkout -b autoresearch/<tag> git add . git commit -m "autoresearch: baseline" 随后编写 program.md、创建 results.tsv(表头为 commit、metric_value、status、description),并运行一次评估器填入基线数值。

优化循环:每轮先分析 results.tsv 历史生成假设;对沙箱做单次原子改动;运行评估器取指标并做正确性校验;若指标优于当前基线则提交并更新基线,否则回滚不提交,评估器崩溃时最多尝试修复两次;最后无论成败都追加记录到 results.tsv,并定期提交日志。

Git 检查点:改进被确认时提交;无改进时 git checkout -- <沙箱文件> 回滚;崩溃在两次修复失败后回滚并记为 crashed。

适用场景示例:代码性能(用 hyperfine 或基准脚本测毫秒)、提示词(LLM 评分 0-100)、邮件文案(模拟点击率或启发式分数)、配置调优(wrk 测每秒请求数)、CSS/Lighthouse 性能分。

限制与规则:不得修改评估器;每次实验只做一个改动;以日志证据优先于直觉;失败实验也是数据,需记录;每个实验需限时;指标存在自然波动时不追逐噪声。具体评估命令、阈值、价格等信息以实际项目资料为准,资料未提供的不作推断。