SuperAPI AI 工具集

tournament-autoresearch

写作与研究

查看项目

更新于 10-15 21:49

技能介绍

用途:用于开放式机器学习实验,在消耗算力前先让多个竞争性想法接受评审,并让挑选者随时间改进。不适用于执行单个已定实验,也不适用于仅做数据集分析;每次迭代只跑一个未经竞争假设时,应使用同系列的 ml-autoresearch 循环。

主要能力:每轮由 n 个 ResearchAgent 提出竞争性架构改动,Judge 按 rubric.active.md 打分、去偏成对比较排序,经 refine_rounds 轮细化后选出唯一排名第一的改动执行。实验机制为快照→运行→强制分析→保留或回退。Judge 记录预测与实际结果,更新 judge_lessons.md、rubric.active.md 和命中率,实现自我校准。

使用方式:采用 roles/Judge.md 作为行为准则,用 roles/ResearchAgent.md 生成提出者。先交互式解析绑定并写入 loop.run.yaml,再初始化 sandbox,包含 results.tsv、calibration.tsv、judge_lessons.md、rubric.active.md 和 iter1/。默认 n=3、refine_rounds=1。在 Claude Code 上生成真实 Agent 子代理,其他宿主则内联采用 ResearchAgent 角色。迭代 1 为未修改基线,跳过锦标赛。

限制:只能编辑 editable_files,且每次编辑前确认;评估框架只读。每次迭代只允许一个改动,不得合并想法。无测试性预测的想法在评分前被拒。Judge 只编辑 rubric.active.md,不修改随附的 rubrics/rubric.md。训练输出必须重定向到 run_log,不得使用 tee。不得安装项目缺少的包或依赖,辅助代码仅用标准库。sandbox 必须自包含,不得使用 ../ 逃逸。循环一旦运行不暂停询问,直到手动中断。具体指标、命令、预算等绑定值需按项目推断,资料未提供固定值。