SuperAPI AI 工具集

autoresearch

写作与研究

查看项目

更新于 10-16 00:03

技能介绍

用途:把自主改进循环用于任何可度量的对象,例如 Claude 技能/提示词、配置文件、代码、UI 组件。核心是三个约束:FILE_TO_MODIFY(唯一可编辑的文件)、METRIC(定义“更好”的单一数值)、BUDGET(每次实验固定时间/算力)。

主要能力:重复执行“读当前状态→提出假设→做一处定向修改→在 BUDGET 内评测→测量 METRIC→提升则保留提交、未提升则回退→记录”的循环,直到达到 N 次迭代或指标连续 3 轮以上停滞。触发语包括“run autoresearch on X”“improve X autonomously”“set up the Karpathy loop for X”等。

使用方式:先确认目标产物与三个约束;确认是否有返回值型评测脚本,没有则协助编写 eval.sh 或 eval.py(对固定测试集运行并只向 stdout 输出一个数字)。每轮按固定格式输出假设、改动、评测、结果、决定与备注。针对 Loooom 技能:FILE_TO_MODIFY=skills/[name]/SKILL.md,METRIC=eval-scores.json 中的评分(0-100),BUDGET=单次评测(约 30 秒);使用 cd ~/Code/loooom-catalog、cat eval-scores.json 查看基线,运行 npm run eval -- skills/[name]。

适用场景:提示词/技能评分优化、Lighthouse 可审计 UI 综合分、体育预测回测准确率、API p95 延迟、分类器 F1 等。

限制与纪律:每次只做一处改动,不得复合修改;改动前后都要测量;运行中不得修改评测脚本或测试集;失败也要记录。具体价格、平台与更多细节资料暂未提供。